올리브영, GCP 기반 데이터 플랫폼 구축 사례 공개
by DD
3년 전
조회수 4
올리브영 데이터 엔지니어링은 데이터 파이프라인 개발에서 데이터 플랫폼 구축으로 확장됨
IDC 기반 ETL 시스템에서 GCP 기반 데이터 플랫폼으로 전환
Airflow, Spark, BigQuery를 활용하여 데이터 처리 효율성을 향상시킴
IDC에서 GCP로의 전환 배경
기존 IDC 기반 ETL 시스템은 확장성 부족과 다양한 데이터 소스 수용에 어려움이 있었다. 따라서 GCP를 도입하여 Airflow, Spark, BigQuery를 활용, 데이터 파이프라인을 구축했다. 결과적으로 데이터 처리량 증가에 유연하게 대응하고, 데이터 분석 환경을 개선했다.
Airflow와 Spark의 활용
Airflow를 통해 데이터 파이프라인을 자동화하고, Spark를 사용하여 대용량 데이터 처리 성능을 향상시켰다. 구체적으로 데이터 로딩, 변환, 적재(ETL) 과정을 효율적으로 관리하며, 데이터 처리 시간 30% 단축을 달성했다. 따라서 데이터 엔지니어링 생산성을 높였다.
MSA 기반 데이터 서비스 플랫폼 구축
올리브영은 MSA 아키텍처를 통해 데이터 서비스 플랫폼으로의 확장을 진행 중이다. 데이터 서비스 플랫폼 구축은 데이터 제공 방식을 개선하고, 데이터 기반 의사 결정을 지원한다. 따라서 데이터 활용성을 극대화하고, 비즈니스 가치 창출을 가속화할 수 있다.
