AI ENGINEER NIGHT Q&A: RAG, 에이전트 설계 인사이트 총정리
채널톡 AI팀은 RAG(Retrieval-Augmented Generation) 구현 시 문서 구조를 파악하여 청킹하고, 비정형 문서의 한계를 극복하기 위해 엔티티 추출 및 조회 방식을 고도화함
BM25와 벡터 검색의 보완 전략으로 별도 사전 구축 대신 에이전트의 재탐색 능력에 투자하며, 폴더 구조 메타데이터를 활용한 점진적 탐색 패턴(Progressive Disclosure)을 적용함
코딩 에이전트와 달리 상담 서비스는 레이턴시 문제로 RAG 방식을 유지하며, LangChain 프레임워크와 자체 구현을 병행하고 pass@k 방식으로 성능을 검증함
상담 데이터는 노이즈 제거 및 사람 검토를 거쳐 지식에 반영하며, 다각적 지표를 통해 사용자 만족도와 사실 정확도 간의 균형을 맞춤
RAG 구현 시 비정형 문서 처리 전략
채널톡 AI팀은 RAG(Retrieval-Augmented Generation) 구현 시 문서 구조를 최대한 살린 청킹 방식을 채택하여 표나 리스트가 중간에 끊기는 문제를 줄이고자 함. PDF와 같이 구조 파악이 어려운 경우 OCR 모듈로 전처리하며, 검색된 결과가 부족할 경우 에이전트가 인접 문서를 추가 탐색하는 방식으로 보완함. 궁극적으로는 표 안의 엔티티를 미리 추출하여 구조화된 데이터로 조회하는 방식으로 고도화할 계획임. 이는 비정형 문서의 검색 한계(Search Ceiling)를 인지하고 데이터 조회(Data Retrieval) 방식으로 전환하려는 시도임.
BM25와 벡터 검색의 보완 및 재탐색 전략
별도의 형태소 분석기나 사용자 사전 구축 대신, 채널톡 AI팀은 검색 정확도보다는 재탐색 능력에 투자하는 전략을 취함. 이는 2,000개 이상의 고객사 도메인 용어 차이로 인한 운영 비용 증가(Operational Cost Increase)를 피하기 위함임. BM25는 주문번호나 모델명 같은 리터럴 매칭(Literal Matching) 보완 역할로 사용되며, 첫 검색 실패 시 에이전트가 쿼리를 변경하고 검색 범위를 조정하여 재탐색함. 토크나이저 튜닝은 우선순위에서 밀려난 상태임.
폴더 구조 메타데이터 기반의 점진적 탐색 패턴
지식센터의 폴더 구조와 메타데이터를 컨텍스트로 제공하여, 에이전트가 tool-calling을 통해 스스로 탐색할 위치와 검색할 내용을 결정하도록 함. 이는 코딩 에이전트가 파일시스템을 탐색하는 방식과 유사하며, 점진적 공개(Progressive Disclosure) 패턴을 적용하여 필요한 만큼만 정보를 열어가는 방식임. 에이전트가 검색 결과를 바탕으로 추가 탐색 여부를 직접 결정하는 자율적인 탐색(Autonomous Exploration) 구조를 가짐.
에이전트 성능 고정 및 pass@k 평가 방식
비결정적 에이전트의 성능을 완벽히 고정하는 것은 어렵기 때문에, 채널톡 AI팀은 pass@1 방식 대신 pass@k 방식을 채택함. 예를 들어 할루시네이션(Hallucination) 이슈 발생 시 근본 원인 해결 후, 여러 번의 시도 중 최소 80% 이상 통과하는지 검증하는 방식으로 성능을 관리함. 이는 반복적인 시도와 평가를 통해 에이전트의 신뢰도를 높이는 접근 방식임.
상담 데이터 반영 시 노이즈 제거 및 정밀도 확보
유저 질문 및 응답을 무가공으로 지식에 반영할 경우 발생할 수 있는 데이터 오염(Data Contamination) 문제를 방지하기 위해 여러 검증 단계를 거침. 먼저 유의미한 질문/응답인지 다른 상담 데이터와 비교하여 노이즈를 제거하고, 이후 지식 수정/추가 제안에 대해 사람이 직접 검토 및 승인하는 과정을 통해 정밀도(Precision)를 극대화하는 방향을 의도적으로 선택함.
사용자 만족도와 사실 정확도 간의 균형 잡기
CSAT, CX Score 등 고객 만족도 지표와 상담의 사실 정확도가 충돌하는 상황에서, 채널톡 AI팀은 하나의 절대적 기준 대신 상황에 따라 우선순위를 유연하게 조정하는 다각적 접근 방식을 택함. 예를 들어 규정상 환불 불가 안내는 정확한 상담이지만 고객 만족도는 낮을 수 있으므로, 정확한 정보 전달과 긍정적 경험 사이의 균형을 맞추는 것이 중요함.
