LLM으로 개인 위키 관리 자동화: 안드레 카파시의 새로운 시도

LLM-Wiki는 크게 인제스트(Ingest), 쿼리(Query), 린트(Lint) 세 단계로 작동한다. 먼저, 인제스트(Ingest) 단계에서 LLM은 새로운 소스를 읽고, 관련 내용을 요약하여 위키에 추가한다. 다음으로, 쿼리(Query) 단계에서는 사용자의 질문에 대해 위키 내 관련 페이지를 검색하고, 답변을 생성한다. 마지막으로, 린트(Lint) 단계에서는 주기적으로 페이지 간의 모순이나 고립된 페이지를 점검하여 위키의 일관성을 유지한다. 이러한 과정을 통해 LLM은 위키의 지속적인 업데이트(Continuous Update)와 지식 축적(Knowledge Accumulation)을 돕는다.

LLM-Wiki는 기존 AI 기반 지식 관리 도구와 달리, 데이터 소유권(Data Ownership)을 보장한다는 점에서 차별성을 가진다. 사용자는 자신의 데이터를 로컬 파일 형태로 관리하며, LLM이 생성한 내용을 직접 확인하고 수정할 수 있다. 이는 특정 서비스에 종속되지 않고, 원하는 LLM 모델을 자유롭게 선택할 수 있다는 의미이기도 하다. 또한, LLM-Wiki는 사용자의 개인화된 지식 관리(Personalized Knowledge Management)를 지원하며, 지식의 복리 축적(Compounding)을 가능하게 한다.

LLM-Wiki는 스키마(Schema) 설계의 중요성을 강조한다. 스키마는 LLM에게 위키의 구조, 컨벤션, 워크플로를 알려주는 설정 문서로, LLM이 체계적인 위키 관리자로 동작하게 하는 핵심 요소이다. 스키마가 잘 설계되지 않으면, LLM이 위키의 전체 구조를 파악하지 못하고, AI 환각(Hallucination)으로 인해 부정확한 정보를 생성할 수 있다. 따라서, 좁은 도메인(Domain)부터 시작하여 스키마를 점진적으로 개선하는 것이 중요하며, 위키가 커질수록 유지 관리(Maintenance)의 어려움이 증가할 수 있다.

LLM-Wiki를 성공적으로 구축하기 위해서는 좁은 도메인(Domain)부터 시작하여 스키마(Schema)를 점진적으로 개선하는 것이 중요하다. 처음부터 모든 지식을 담으려 하면 스키마 설계가 복잡해지고, 일관성을 유지하기 어려워진다. 따라서, AI와 지식 관리, 특정 기술 영역 등 관심 있는 분야(Area of Interest)에 집중하여 위키를 구축하고, LLM이 생성하는 페이지를 보면서 스키마를 다듬어가는 것이 효과적이다. 또한, 옵시디언(Obsidian)과 같은 마크다운 기반의 위키 도구를 활용하면, LLM이 생성한 내용을 쉽게 확인하고 수정할 수 있다.

LLM-Wiki는 북키핑(Bookkeeping) 작업을 LLM에게 위임하고, 사람은 사고(Thinking)에 집중할 수 있도록 돕는다. 북키핑은 교차 참조 업데이트, 요약 최신화, 파일 일관성 유지 등과 같은 행정 작업이며, 사고는 여러 소스를 연결하고 이해하는 과정이다. LLM에게 북키핑을 맡기면, 위키 관리의 부담을 줄여 사고(Thinking)에 더 많은 시간과 에너지를 할애할 수 있다. 그러나, 무엇을 읽고 무엇을 질문할지는 여전히 사람이 결정해야 하며, 사고 과정(Thinking Process)이 빠지면 위키는 쌓여도 내 머릿속은 비어가는 역설이 발생할 수 있다.