PostgreSQL의 Top K 쿼리, 성능 병목을 해결하는 방법은?

PostgreSQL은 B-tree 인덱스를 사용하여 정렬 쿼리를 빠르게 처리하지만, 필터 조건이 추가되면 성능이 급격히 저하될 수 있다. 특히, 텍스트 검색(Text Search)과 같은 복잡한 조건이 포함될 경우, GIN 인덱스를 사용하더라도 정렬 기능을 제대로 활용하지 못해 성능 저하(Performance Degradation)가 발생한다. 실제 사례로, 텍스트 검색과 범위 필터를 함께 사용하면 쿼리 실행 시간이 수십 초까지 증가할 수 있다.

B-tree 인덱스는 정렬된 데이터를 빠르게 검색하는 데 유용하지만, 필터 조건의 조합이 증가할수록 인덱스 관리(Index Management)의 복잡성이 증가한다. 예를 들어, `severity`와 `timestamp`에 대한 복합 인덱스를 생성하면 특정 쿼리에 대한 성능을 향상시킬 수 있지만, `country` 필터가 추가되면 해당 인덱스를 효율적으로 활용할 수 없다. 이러한 문제로 인해 다양한 조합의 필터와 정렬을 지원하기 위해 여러 개의 인덱스를 생성해야 하며, 이는 저장 공간 낭비(Storage Bloat)와 쓰기 성능 저하를 야기한다.

ParadeDB는 텍스트 검색, 필터링, 정렬을 모두 처리할 수 있는 단일 복합 인덱스를 사용한다. 이 인덱스는 B-tree와 달리 정렬된 구조가 아니므로, 다양한 형태의 Top K 쿼리에 대해 일관된 성능을 제공한다. ParadeDB는 Tantivy를 기반으로 하며, Inverted Index와 Columnar Array를 활용하여 검색 및 필터링 성능을 최적화한다. 특히, Block WAND 기술을 통해 불필요한 연산을 줄여 쿼리 성능을 향상시킨다.

ParadeDB는 Block WAND 기술을 사용하여 쿼리 성능을 더욱 향상시킨다. 이 기술은 각 데이터 블록의 최대 점수를 계산하여, Top K에 포함될 가능성이 없는 블록을 미리 건너뛴다. 또한, Columnar Array를 사용하여 필터링 연산을 빠르게 수행하며, SIMD 명령어를 활용하여 여러 값을 동시에 처리한다. 이러한 최적화 기법을 통해 ParadeDB는 PostgreSQL에 비해 훨씬 빠른 Top K 쿼리 성능을 제공한다. 최근 0.21.0 버전에서는 doc ID iterator를 개선하여 성능을 최대 30% 향상시켰다.

일부 댓글에서는 PostgreSQL의 커버링 인덱스(Covering Index)와 PG RUM/textsearch 확장을 언급하며, ParadeDB가 PostgreSQL의 확장성을 간과하고 있다고 지적한다. 또한, ParadeDB가 특정 쿼리 형태에 최적화된 솔루션이 아니라는 점을 강조하며, PostgreSQL의 커스터마이징(Customization) 가능성을 높이 평가한다. 다른 사용자는 검색 기능 구현을 위해 하이브리드 방식(Hybrid Approach)을 사용한 경험을 공유하며, 복잡한 필터링과 페이징(Pagination)의 어려움을 토로했다.