LLM 코드 생성, 비결정성보다 더 중요한 문제는?
LLM의 비결정성(Nondeterminism)이 코드 생성의 문제라는 일반적인 인식에 대해 반박하며, 컴파일러(Compiler)와 LLM의 근본적인 차이를 분석함
저자는 LLM의 비결정성을 제거하고 결정적(Deterministic) LLM을 만드는 것은 기술적으로 가능하다고 주장하며, 문제의 핵심이 아님을 강조함
프로그래밍 언어의 의미론(Semantics)과 프롬프트(Prompt)의 차이점을 통해, LLM이 생성한 코드의 신뢰성 부족 문제를 지적함
커뮤니티에서는 LLM의 불투명성(Opacity)과 프롬프트의 의미론 부재가 문제의 핵심이며, 결정적 LLM도 문제를 해결하지 못한다는 의견이 제시됨
비결정성(Nondeterminism) vs. 의미론(Semantics)
저자는 LLM의 비결정성이 문제의 핵심이 아니라고 주장하며, 컴파일러(Compiler)의 비결정성을 예시로 든다. 컴파일러는 내부적으로 다양한 최적화를 수행하며, 동일한 소스 코드를 입력하더라도 매번 다른 기계어를 생성할 수 있다. 하지만, 프로그래밍 언어의 의미론(Semantics)을 준수하므로 프로그램의 동작에는 변화가 없다. 반면, LLM은 프롬프트의 의미론을 보장하지 못하기 때문에, 결정적 LLM(Deterministic LLM)을 사용하더라도 신뢰성 문제를 해결할 수 없다고 지적한다.
LLM 코드 생성의 근본적인 문제점
논의에서는 LLM이 생성한 코드의 신뢰성 부족 문제를 지적하며, 이는 프롬프트(Prompt)가 프로그래밍 언어와 달리 명확한 의미론을 갖지 못하기 때문이라고 분석한다. 프로그래밍 언어(Programming Languages)는 컴파일러가 준수해야 할 명확한 규칙과 약속을 제공하지만, 프롬프트는 그렇지 않다. 따라서 LLM이 생성한 코드의 동작을 예측하거나 보장하기 어렵고, 코드 검토가 필수적이라는 결론을 내린다.
결정적 LLM(Deterministic LLM)의 한계
저자는 온도(Temperature) 설정을 통해 LLM을 결정적으로 만들 수 있으며, Groq API를 활용한 Python 스크립트(Python Script) 예시를 제시한다. 하지만, 결정적 LLM을 사용하더라도 코드 생성의 신뢰성 문제는 해결되지 않는다고 강조한다. 결정성(Determinism)은 문제의 본질이 아니며, 프롬프트의 의미론 부재가 근본적인 문제임을 다시 한번 강조한다.
커뮤니티의 다양한 시각
커뮤니티에서는 LLM의 불투명성(Opacity)과 프롬프트의 의미론 부재에 대한 다양한 의견이 제시되었다. 한 사용자는 LLM이 블랙박스(Black Box)와 같아 내부 동작을 파악하기 어렵다는 점을 지적했다. 또 다른 사용자는 자연어(Natural Language)의 모호함과 코드의 명확성 간의 차이점을 강조하며, LLM의 한계를 지적했다. 결정적 LLM(Deterministic LLM)이 문제 해결의 핵심이 아니라는 점에 공감하는 의견이 주를 이룬다.
