McDonald's, ESG 데이터 처리를 위한 Config 기반 ETL 엔진 구축
by DD
7개월 전
조회수 8
McDonald's는 ESG 데이터 처리를 위해 Python 기반의 재사용 가능한 ETL/ELT 엔진을 구축함
YAML 설정을 통해 파이프라인 개발 속도를 높이고, 수동 작업을 줄임
Redshift, S3 등 다양한 환경에서 확장성, 유연성, 안정성을 확보함
Config 기반 아키텍처의 장점
Config 기반 ETL 엔진은 YAML 설정을 통해 파이프라인을 정의하여 개발 속도를 높인다. 구체적으로, 수동 코딩 대신 설정 파일만 변경하여 데이터 변환 로직을 쉽게 수정할 수 있다. 따라서 유지보수성이 향상되고, 다양한 환경에 유연하게 대응할 수 있다.
데이터 파이프라인 구축 과정
엔진은 YAML 파일을 읽어 데이터 소스에서 데이터를 추출하고, 변환 및 로드 작업을 수행한다. Airflow와 같은 도구를 사용하여 파이프라인을 관리하며, Redshift 또는 S3에 데이터를 저장한다. 따라서 및 를 통해 을 향상시킨다.
