Go로 구축된 분산 검색 엔진 Antfly, 멀티모달 검색과 그래프 탐색을 한 번에!

Elasticsearch 사용자들이 Antfly로 마이그레이션하는 경로에 대한 질문이 있었다. 일반적으로 Elasticsearch에서 Antfly로의 마이그레이션은 데이터 재색인(Reindexing)을 포함한다. Antfly는 S3 스토리지를 지원하여 대용량 데이터의 효율적인 관리를 돕는다. 또한, Antfly는 PostgreSQL 확장(PostgreSQL Extension)을 제공하여 기존 PostgreSQL 환경과의 통합을 용이하게 한다. 하지만, 마이그레이션 시에는 데이터 구조 및 쿼리 호환성을 고려해야 한다.

Antfly는 내장된 Termite를 통해 ML 모델(ML Models)을 실행하여 임베딩(Embeddings), 청킹(Chunking), 재랭킹(Reranking) 등의 작업을 수행한다. 이는 외부 API 호출 없이 RAG(Retrieval-Augmented Generation) 시스템을 구축할 수 있게 해준다. Termite는 Ollama, OpenAI, Bedrock, Gemini 등 다양한 모델을 지원하며, 단일 바이너리 배포 환경에서 ML 기능을 활용할 수 있도록 돕는다. 특히, 단일 바이너리 배포(Single Binary Deployment)는 개발 및 운영의 편의성을 높이는 중요한 요소로 작용한다.