LLM, PM이 알아야 할 5가지 핵심 지식

LLM은 클로드 섀넌(Claude Shannon)의 정보 이론에서 시작된 '다음에 올 단어 확률 예측'이라는 단순한 원리로 작동합니다. 이는 1950년대 언어 예측 실험을 거대 규모로 확장한 것으로, 인터넷 텍스트 데이터로 학습된 통계 모델을 기반으로 합니다. 즉, LLM은 본질적으로 확률 분포에 기반하여 가장 가능성 높은 다음 토큰(Token)을 선택하는 과정의 반복입니다. 이 기본 원리를 이해하는 것은 LLM의 동작 방식과 한계를 파악하는 첫걸음입니다.

LLM은 텍스트를 토큰(Token)이라는 기본 단위로 처리하며, 이는 단어보다 작거나 클 수 있습니다. 한국어는 영어 대비 더 많은 토큰을 사용하여 비용이 증가하고 처리 한계에 더 빨리 도달할 수 있습니다. 또한, LLM은 컨텍스트 윈도우(Context Window)라는 제한된 단기 기억 공간만 가지므로, 이 범위를 벗어난 정보는 '잊어버립니다'. PM은 이러한 토큰 비용과 컨텍스트 한계를 고려하여 한국어 서비스의 비용 효율성과 긴 문서 처리 시 데이터 손실 방지를 위한 시스템 설계를 해야 합니다.

LLM의 추론(Inference) 과정은 확률 분포에서 다음 토큰을 '뽑는' 무작위성을 포함합니다. Temperature 파라미터는 이 무작위성 강도를 조절하며, 낮을수록 일관성 있고 예측 가능한 결과(팩트 기반 답변에 유리)를, 높을수록 다양하고 창의적인 결과(브레인스토밍에 유리)를 생성합니다. PM은 고객 지원 챗봇과 같이 신뢰성이 중요한 태스크에는 낮은 Temperature를, 마케팅 문구 생성과 같이 창의성이 필요한 태스크에는 높은 Temperature를 의식적으로 설정하여 사용자 경험을 최적화해야 합니다.

LLM은 사실 여부 검증 없이 가장 그럴듯한 토큰을 선택하므로 환각(Hallucination), 즉 사실이 아닌 정보를 자신 있게 생성할 수 있습니다. 또한, 사용자가 기대하는 답변을 맞춰주는 아첨(Sycophancy) 경향도 보입니다. 이는 모델이 학습 데이터에서 사용자를 만족시킨 패턴을 학습했기 때문입니다. PM은 이러한 현상을 이해하고, 비판적 피드백이나 다양한 관점이 필요할 때 모델이 명시적으로 약점을 제시하도록 프롬프트 엔지니어링을 통해 제어해야 합니다.

LLM의 지식 한계를 극복하기 위해 RAG(Retrieval-Augmented Generation)는 외부 자료를 검색하여 답변의 근거로 삼는 방식입니다. 이를 통해 기업 내부 문서 기반의 챗봇 구현이 가능해집니다. 또한, LLM에 도구 사용 능력을 부여한 에이전트(Agent)는 검색, 예약 등 실제 작업을 수행할 수 있게 합니다. PM은 이러한 기술들을 이해함으로써 AI 기능의 범위를 '대화'에서 '작업 수행'으로 확장하고, AI 행동 결과에 대한 책임 설계까지 고려해야 합니다.