LLM으로 100권의 책을 분석, 숨겨진 연결고리를 찾다!

저자는 LLM을 활용하여 100권의 도서에서 주제 간의 연결(Connections)을 탐색하는 시스템을 구축했다. 초기에는 LLM 호출을 연결하는 파이프라인을 사용했지만, 디버그 CLI 도구를 활용하여 오케스트레이션(Orchestration)의 복잡성을 줄였다고 언급한다. 특히, Gemini Flash Lite를 사용하여 책의 내용을 토픽별로 색인하고, SQLite를 사용하여 데이터를 저장하는 방식을 채택했다.

시스템은 Gemini Flash Lite를 사용하여 책의 내용을 토픽별로 색인하고, 재귀적 Leiden partitioning과 LLM 레이블을 통해 주제를 트리 구조로 구성한다. 이를 통해 사용자는 임베딩 유사성, 토픽 트리 형제, 청크 윈도우 내에서 함께 발생하는 토픽 등 다양한 방식으로 책을 탐색할 수 있다. 이러한 접근 방식은 방대한 양의 텍스트에서 의미 있는 패턴(Meaningful Patterns)을 발견하는 데 기여한다.

커뮤니티에서는 LLM이 생성한 연결의 타당성(Validity)에 대한 의문을 제기하며, AI 환각(Hallucination) 가능성을 우려했다. 특히, '유용한 거짓말'이라는 주제에서 테라노스(Theranos)와 같은 사례를 연결한 것에 대해, 연결의 의미(Meaning of Connections)가 모호하다는 지적이 있었다. 이는 LLM 기반 시스템의 해석의 정확성(Accuracy of Interpretation)에 대한 중요한 질문을 제기한다.

댓글에서는 'distant reading' 기법을 소개하며, LLM이 이러한 방식의 연구를 발전시킬 수 있는 잠재력을 강조한다. Distant reading은 텍스트의 미세한 의미보다는 수백, 수천 개의 텍스트를 대상으로 컴퓨터를 사용하여 통찰력을 얻는 방법이다. LLM은 새로운 기술을 가능하게 하고, 기존 기술을 코딩 없이 사용할 수 있도록 하며, 초보자가 코드를 작성하는 데 도움을 줄 수 있다.