엔터프라이즈 LLM, 복잡한 기술 대신 '기본'에 집중
by DD
4개월 전
조회수 42
Flava AI 어시스턴트(FAA)는 사내 문서 '참조(retrieval)' 방식을 통해 Flava 관련 문의의 96.1%에 답변 제공
파인 튜닝(Fine-tuning) 대신 RAG(retrieval-augmented generation)를 선택, 지식 주입의 비효율성과 유지 보수 비용(Maintenance Cost) 절감
문서를 통째로 임베딩(Embedding)하고 검색 후 자르는 '검색 후 자르기(post-split)' 전략으로 문맥 손실(Context Loss) 최소화
복잡한 워크플로 대신 ReAct(reasoning and acting) 방식을 채택, 단순 루틴(Simple Routine)으로 문제 해결
파인 튜닝(Fine-tuning) vs RAG(Retrieval-Augmented Generation) 비교 분석
본문에서는 FAA가 파인 튜닝 대신 RAG를 선택한 배경을 설명하며, 각 방식의 장단점을 분석한다.
파인 튜닝: '어떻게(how) 말하게 하는 도구'로, 새로운 지식 주입보다 말투나 어조를 변경하는 데 효과적
RAG: '무엇(what)을 알게 하는 도구'로, 문서 참조를 통해 최신 정보를 제공하고 유지 보수 비용 절감
파인 튜닝의 한계: 새로운 지식 주입 시 데이터셋 구성의 어려움과 유지 보수 비용 증가
