RAG 성능, 청킹 최적화로 끌어올리세요!
by DD
7개월 전
조회수 9
RAG 시스템의 핵심 요소인 청킹(Chunking)의 중요성과 다양한 전략 소개
고정 크기 청킹의 단점 보완을 위한 재귀적 청킹, 시맨틱 청킹 등 다양한 기법 제시
메타데이터 활용, 청크 오버랩, LATE CHUNKING 등 RAG 성능 개선을 위한 최적화 기법 설명
RAG 시스템의 핵심: 청킹의 역할
RAG 시스템은 LLM의 Context Window 한계를 극복하기 위해 청킹(Chunking)을 활용한다. 구체적으로 문서를 의미 있는 단위로 나누어 임베딩하고, 사용자의 질문과 관련된 청크를 검색한다. 따라서 검색 정확도를 높이는 것이 RAG 성능 향상의 핵심이다.
청킹 전략 비교: 고정 크기 vs 재귀적 청킹
고정 크기 청킹은 구현이 간단하지만, 문맥 파편화 문제를 야기한다. 반면 재귀적 청킹은 문단, 문장 단위로 분할하여 문맥 손실을 최소화한다. 따라서 문맥 보존과 청크 크기 균형을 맞추는 것이 중요하다.
RAG 성능 향상을 위한 최적화 기법
메타데이터 활용은 검색 정확도를 높이고, 청크 오버랩은 문맥을 보존한다. LATE CHUNKING은 전체 문서 임베딩을 활용하여 청크의 독립성 문제를 해결한다. 따라서 문맥 손실 최소화를 위한 다양한 기법을 적용해야 한다.
