LLM 기반 사내 문서 검색 Agent 개발기

ReAct는 에이전트가 생각, 행동, 관찰의 루프를 통해 문제를 해결하는 방식이다. LangChain 프레임워크를 사용하여 LLM 기반 에이전트를 쉽게 구현할 수 있다. 따라서, 도구(Tool)를 정의하고, 워크플로우를 구성하여 복잡한 작업을 자동화할 수 있다.

사내 Confluence 문서를 검색하기 위해 Atlassian API를 활용했다. CQL 쿼리 생성을 위해 LLM을 사용하고, few-shot 방식을 적용하여 쿼리 정확도를 높였다. 문서 구조 전처리를 통해 테이블, 매크로, 태그 등을 처리하여 LLM이 문서를 이해하도록 했다.

TTFT와 TPOT를 고려하여 응답 속도를 최적화했다. 출력 토큰 길이를 줄이고, 모델 분기 처리를 통해 성능을 개선했다. 캐싱 및 특화 모델 개발을 통해 자주 사용되는 정보에 대한 응답 속도를 향상시켰다. 결과적으로, 사용자 체감 대기 시간을 줄였다.