LLM 컨텍스트 창 확장, 검색 품질 저하의 원인?

LLM의 컨텍스트 창(Context Window)이 128K 토큰까지 확장되면서, 더 많은 정보를 한 번에 처리할 수 있다는 기대감이 생겼다. 그러나 본문에서는 더 큰 컨텍스트 창이 오히려 검색 품질(Retrieval Quality) 저하를 야기한다고 지적한다. 모델은 수많은 문서 속에서 질문과 직접적인 관련이 적은 정보들을 포함하여 답변을 생성하는데, 이는 일관성(Coherence)은 높지만 사실성(Faithfulness)은 떨어지는 결과를 초래한다. 예를 들어, '마이크로서비스 전환 이유'라는 질문에 수십 개의 문서를 반환받았을 때, 실제 결정이 담긴 ADR 문서가 아닌, 관련 기술을 언급하는 다른 문서들의 내용을 종합하여 그럴듯한 답변을 만들어내는 현상이 발생한다. 이는 정보 검색 단계(Retrieval Stage)의 정확성이 얼마나 중요한지를 방증한다.

과거에는 검색을 '얼마나 많은 유용한 청크(Chunk)를 프롬프트에 담을 것인가'라는 패킹(Packing) 문제로 접근했다. 하지만 본문에서는 '왜 이 문서가 여기에 있는가?', '이 문서가 실제로 결정을 설명하는가, 아니면 단순히 같은 기술을 언급하는가?' 와 같은 질문이 더 중요하다고 강조한다. 즉, 검색은 단순히 정보를 많이 담는 것이 아니라, 답변을 설명하는 데 필요한 핵심 정보 조각들을 선별하는 선택(Selection) 문제라는 것이다. 컨텍스트 창 크기 확대로는 이러한 선별 능력의 부재를 보완할 수 없으며, 오히려 잘못된 정보들을 평균화하여 그럴듯한 환각(Hallucination)을 만들어낼 위험만 높인다. 따라서 검색 알고리즘의 정교함이 LLM의 성능을 좌우하는 핵심 요소임을 시사한다.

연구에 따르면 LLM은 긴 컨텍스트 내의 정보, 특히 중간에 위치한 정보를 놓치는 정보 매몰(Lost in the Middle) 현상을 보인다. 본문의 경험은 이와 유사하면서도 약간 다른 측면을 지적한다. 즉, 정보가 길어서 잃어버리는 것이 아니라, 검색 단계에서 결정적인 문서를 다른 유사 주제 문서들과 구분하지 못해 발생하는 문제라는 것이다. '마이크로서비스 전환 결정'이라는 질문에 대한 답이 담긴 ADR 문서는 해당 용어를 자주 반복하지 않기 때문에 검색 결과에서 뒤로 밀려날 수 있다. 이는 검색 시스템이 문서의 의미론적 유사성(Semantic Similarity)뿐만 아니라, 질문과의 실제적인 관련성(Actual Relevance)을 얼마나 잘 파악하는지가 중요함을 보여준다. 결국, LLM의 성능 향상은 검색 시스템의 정교함에 크게 의존한다.