Apache Iceberg로 데이터 레이크 구축: 멀티 엔진 환경 구축 사례
by DD
7개월 전
조회수 10
Amazon Redshift의 한계를 극복하기 위해 Apache Iceberg를 도입하여 데이터 레이크 아키텍처를 구축함
BigQuery, Spark 등 여러 엔진을 지원하는 멀티 엔진 환경을 구성하여 유연성을 확보함
데이터 복제 없이 메타데이터 공유를 통해 쿼리 성능 향상 및 비용 절감을 달성함
Iceberg 아키텍처: 데이터와 메타데이터의 분리
Apache Iceberg는 데이터 레이크에서 데이터와 메타데이터를 분리하여 관리한다. 구체적으로 GCS에 Parquet 형식으로 데이터를 저장하고, BigLake Metastore에서 메타데이터를 관리한다. 따라서 여러 엔진이 메타데이터를 공유하여 데이터 일관성을 유지하고, 쿼리 성능을 향상시킨다.
