OpenSearch, AI 에이전트와 결합해 차세대 검색 플랫폼으로 진화

by DD
1일 전
조회수 24

검색 기술은 어휘 검색에서 의미 검색, 하이브리드 검색을 거쳐 AI 에이전트가 추론하는 에이전틱 검색(Agentic Search)으로 진화함

OpenSearch 3.5 버전은 클러스터 인사이트(Cluster Insights)파생 소스(Derived Source) 기능으로 운영 간소화 및 스토리지 비용 40% 절감 달성

1조 개 이상 벡터 지원을 위한 계층형 스토리지(Hierarchical Storage)와 NVIDIA GPU 기반 cuVS 인덱스 가속화로 AI 검색 성능 강화

에이전틱 검색은 MCP 표준 지원, 내부 에이전틱 메모리, 로컬 에이전트를 통해 복잡한 추론 및 멀티턴 대화 지원

검색 기술의 4단계 진화: 어휘에서 에이전틱까지

검색 기술은 키워드 매칭 기반의 어휘 검색(Lexical Search)에서 시작하여, 의미 유사도를 파악하는 시맨틱 검색(Semantic Search), 그리고 이 둘을 결합한 하이브리드 검색(Hybrid Search)을 거쳐, 이제는 AI 에이전트가 스스로 추론하고 다단계 검색을 수행하는 에이전틱 검색(Agentic Search)으로 진화했습니다.

각 단계별 주요 기술로는 BM25, TF-IDF에서 임베딩(Vector), KNN, 그리고 LLM, RAG, Tool Calling까지 발전했습니다.

특히 에이전틱 검색은 LLM(Large Language Model)의 추론 능력과 Tool Calling 기능을 활용하여 복합적인 문제 해결 및 AI 비서와 같은 고도화된 활용 사례를 가능하게 합니다.

이러한 진화는 데이터 표현 방식의 변화(텍스트 → 벡터 → 외부 시스템 연동)와 함께 이루어졌으며, 검색 정확도와 문제 해결 능력을 지속적으로 향상시켜 왔습니다.

OpenSearch 3.5: 운영 간소화 및 비용 최적화 혁신

대규모 OpenSearch 클러스터 운영의 고질적인 문제였던 성능 병목과 스토리지 비용 부담을 해결하기 위해, 차세대 버전(3.5)에서는 클러스터 인사이트(Cluster Insights)파생 소스(Derived Source) 기능이 도입되었습니다.

클러스터 인사이트는 노드별 성능, 샤드 분포, 쿼리 패턴 등을 통합 대시보드에서 자동 시각화하여 병목 지점 파악을 용이하게 합니다.

파생 소스 기술은 원본 JSON 문서의 중복 저장을 생략하고 필요시 동적으로 재구성하여, 클러스터 스토리지 비용을 최대 40% 절감하고 인덱싱 및 머지 속도를 약 20% 향상시킵니다.

이러한 기능들은 운영 복잡성을 줄이고 TCO(Total Cost of Ownership)를 절감하는 데 크게 기여할 것으로 기대됩니다.

1조 개 벡터 지원을 위한 계층형 스토리지 아키텍처

AI 검색의 핵심인 밀집 벡터(Dense Vector) 검색 엔진이 1조 개 이상 규모로 성장함에 따라, 막대한 벡터 데이터를 메모리에 모두 올리는 것은 비용적으로 비현실적입니다. OpenSearch는 이를 해결하기 위해 계층형 스토리지 옵션을 제공합니다.

인메모리(In-Memory) 모드는 초고속 검색을 제공하지만 비용이 높습니다.

디스크 모드(Disk Mode)는 양자화된 벡터만 메모리에 올리고 원본은 디스크에 보관하여 메모리 비용을 최대 32배까지 절감하며, 약간의 지연 시간 증가와 함께 정확도를 확보합니다.

S3 벡터 스토리지는 가장 저렴한 옵션으로 대규모 장기 보관에 유리합니다.

이러한 계층 구조는 비용 효율성과 검색 성능 사이의 최적 균형점을 찾을 수 있도록 유연성을 제공합니다.

NVIDIA GPU 기반 cuVS 도입으로 인덱스 빌드 가속화

수천억 개 이상의 대규모 벡터 데이터셋에서 인덱스 생성 속도는 심각한 병목 지점이 될 수 있습니다. OpenSearch는 NVIDIA와의 협력을 통해 cuVS(CUDA Vector Search) 라이브러리를 도입하여 이 문제를 해결했습니다.

cuVS는 GPU 인스턴스를 활용하여 인덱스 생성 작업을 오프로드하고, 완료 후 GPU를 반환하는 서버리스 GPU 방식을 지원합니다.

이를 통해 인덱스 빌드 속도가 벤치마크 기준 최대 10배 향상되어, 10억 개 규모 벡터 인덱스를 1시간 이내에 구축할 수 있게 되었습니다.

또한, 빌드 비용도 기존 대비 4분의 1 수준으로 절감되어 대규모 벡터 인덱스 구축의 경제성을 크게 높였습니다.

에이전틱 검색(Agentic Search)의 핵심 메커니즘과 RAG 한계 극복

기존 RAG(Retrieval-Augmented Generation) 패턴은 추론 능력이 제한적이었으나, OpenSearch 서비스 버전 3.3부터 도입된 에이전틱 검색은 AI 에이전트가 스스로 추론하며 데이터를 탐색하는 새로운 패러다임을 제시합니다.

MCP(Model Context Protocol) 표준 지원으로 LangChain, LlamaIndex 등 주요 AI 프레임워크와 즉시 연동 가능합니다.

내부 에이전틱 메모리(Agentic Memory)는 에이전트의 세션 메모리 및 이벤트 히스토리를 OpenSearch 내에서 관리하여 LLM 컨텍스트 윈도우를 최적화하고, 완전한 멀티테넌트 구조를 지원합니다.

클러스터 내 전문화된 로컬 에이전트는 인프라의 보안 경계를 상속받아 안전하며, 플로우 에이전트, 대화형 에이전트, 계획 실행 반영 에이전트 등 워크로드에 맞는 다양한 타입을 제공합니다.

이는 복잡한 멀티턴 대화나 반복적인 루프가 필요한 에이전트 시스템에서 RAG의 한계를 극복하고 진정한 AI 기반의 추론 및 검색을 가능하게 합니다.

[AWS Summit Seoul 2026] 나야, 차세대 OpenSearch: 에이전틱 AI를 곁들인