오픈 테이블 형식(OTF)의 성능, 인덱싱이 전부가 아니다!
by DD
3개월 전
조회수 20
RDBMS와 오픈 테이블 형식(OTF)의 인덱싱 방식 차이점을 분석하여, 각 시스템의 특성에 맞는 데이터 접근 방식을 설명함.
데이터 레이아웃(Data Layout), 즉 파티셔닝(Partitioning)과 정렬(Sorting)이 OTF 쿼리 성능에 미치는 영향과 중요성을 강조함.
컬럼 통계(Column Statistics), 블룸 필터(Bloom Filters), 그리고 머티리얼라이즈드 뷰(Materialized Views)와 같은 보조 데이터 구조가 쿼리 성능 향상에 기여함을 설명함.
OTF의 미래는 표준화된 메타데이터(Metadata) 확장에 있으며, 플랫폼별로 특화된 머티리얼라이즈드 뷰(Materialized Views)와 같은 기술이 지속적으로 발전할 것임을 전망함.
RDBMS와 OTF의 인덱싱 비교
RDBMS는 B-트리(B-tree) 기반의 인덱스를 사용하여 특정 행을 빠르게 찾거나, 범위 검색을 수행한다. 반면, OTF는 컬럼 기반 스토리지(Columnar Storage)를 활용하여 데이터 스키핑(Data Skipping)을 통해 쿼리 성능을 최적화한다. RDBMS는 쓰기/수정 작업이 빈번한 OLTP 워크로드(OLTP Workload)에 적합하며, OTF는 대량의 데이터를 분석하는 분석 워크로드(Analytical Workload)에 특화되어 있다.
데이터 레이아웃(Data Layout)의 중요성
OTF에서 쿼리 성능은 데이터의 물리적 레이아웃에 크게 의존한다. 파티셔닝(Partitioning)은 데이터 파일을 그룹화하여 쿼리 시 관련 파티션만 스캔하도록 돕고, 은 데이터 내에서 유사한 값을 가깝게 배치하여 로우 그룹 레벨(Row Group Level)의 데이터 스키핑을 가능하게 한다. 은 쿼리 패턴에 맞춰 조정되어야 하며, 잘못된 설정은 성능 저하를 초래할 수 있다.
