Spring AI, Typesense로 사내 챗봇 '촤비스'를 구축한 이야기
by DD
9개월 전
조회수 12
AWS Bedrock과 Spring AI를 활용하여 사내 챗봇 '촤비스'를 개발함
초기 AWS Kendra를 사용했으나, 비용 문제로 Typesense 기반으로 전환함
Hybrid Search 적용을 통해 검색 정확도 향상 및 사용성 개선
Spring AI 기반 챗봇 아키텍처
Spring AI는 Bedrock과 같은 AI 모델을 연결하고, Tool을 정의하여 챗봇의 핵심 기능을 구현한다. 구체적으로, 사용자의 질문을 분석하고 적절한 Tool을 선택하여 답변을 생성한다. 따라서, 유연한 확장성과 다양한 AI 모델 연동을 지원한다.
Kendra vs Typesense: 비용 절감의 여정
초기 Kendra는 Confluence 연동의 용이성을 제공했지만, 높은 비용 문제에 직면했다. Typesense는 오픈소스 기반으로 비용 부담을 줄였고, Titan Embed Text 모델을 활용하여 의미 검색을 구현했다. 반면, Hybrid Search 적용 전에는 짧은 질문에 대한 답변 품질이 낮았다.
Hybrid Search를 통한 검색 정확도 개선
Typesense에 Hybrid Search를 적용하여 검색 정확도를 향상시켰다. 구체적으로, 키워드 검색과 벡터 검색을 결합하여 짧은 질문에도 적절한 답변을 제공한다. 따라서, 사용자 만족도를 높이고, 챗봇의 활용도를 증대시켰다.
