SK플래닛, Trino 도입으로 데이터 분석 혁신!
by DD
1년 전
조회수 2
SK플래닛은 데이터 리드 타임 단축을 위해 Trino를 도입하여 실시간 데이터 분석 환경을 구축함
Kafka를 통해 실시간 데이터를 수집하고, Trino를 활용하여 다양한 데이터 소스에 접근 및 분석 가능
DAU 분석 정교화, 리포트 주기 단축, 실시간 모수 추출 등 데이터 활용 효율성 극대화 달성
Trino 아키텍처 및 데이터 흐름
SK플래닛은 기존 Hadoop 기반 데이터 레이크에서 Trino를 도입하여 데이터 접근성을 향상시켰다. Kafka를 통해 실시간 데이터를 수집하고, Trino는 다양한 데이터 소스에 연결하여 통합된 SQL 인터페이스를 제공한다. 따라서, 데이터 분석 속도 향상과 유연한 데이터 접근이 가능해졌다.
Trino 도입의 기술적 과제와 해결
Trino의 HA 부재 문제를 해결하기 위해 Trino Gateway를 도입하여 클러스터 이중화를 구현했다. 또한, Apache Ranger와 자체 개발한 시스템을 통해 데이터 접근 권한을 제어했다. 결과적으로, 와 안정적인 시스템 운영을 동시에 달성했다.
