LLM의 신뢰성 확보, 싸구려 AI는 없다!
LLM(대규모 언어 모델)은 확률적 예측 모델이며, 결정적이지 않음을 강조하며, 잦은 할루시네이션(Hallucination) 발생
신뢰성 확보를 위해 입력 정제, 평가, 재시도 등의 파이프라인 구축이 필수적이며, 이는 계산 비용 증가로 이어짐
단순 토큰 가격(Token Price) 인용은 오해의 소지가 있으며, 신뢰할 수 있는 AI 시스템 구축에는 추가적인 비용(Evaluation, Retry) 발생
고위 경영진의 비전 제시와 실제 엔지니어링 간의 간극을 지적하며, 분산 시스템 엔지니어링(Distributed Systems Engineering)에 가까움을 강조
LLM의 비결정성(Nondeterminism)과 한계
본문은 LLM이 확률적 시퀀스 예측기(Probabilistic Sequence Predictor)이므로, 필연적으로 할루시네이션(Hallucination), 부정확한 답변, 제약 조건 무시 등의 문제를 가진다고 지적한다.
내부적인 진실성(Internal Notion of Correctness) 부재로 인해, 모델은 자신의 실패를 인지하지 못함
단일 프롬프트(Single Prompt) 및 모델 호출(Model Call)만으로는 신뢰성 있는 제품을 만들 수 없음
설계상(Design Property)의 문제이므로, 모델 자체의 개선보다는 시스템 아키텍처(System Architecture)를 통해 해결해야 함.
신뢰성 확보를 위한 아키텍처 설계
신뢰성 있는 AI 시스템 구축을 위해, LLM 호출 전후에 다양한 제어 메커니즘(Control Mechanisms)을 추가해야 한다고 설명한다.
입력 정제(Input Cleaning) 및 정규화(Normalization)를 통해 데이터 품질(Data Quality) 확보
평가 단계(Evaluation Step)를 통해 생성된 답변의 정확성 검증
재시도(Retry) 메커니즘을 통해 실패한 요청에 대한 재처리
라우팅 계층(Routing Layer)을 통해 적절한 모델 선택 및 프롬프트(Prompt) 변경
이러한 과정을 통해 불확실성(Uncertainty)을 감소시키고, 시스템의 제어 가능성(Controllability)을 높일 수 있다.
비용(Cost)의 두 가지 측면: 나쁜 방법과 좋은 방법
본문은 신뢰성 있는 AI 시스템 구축에 따른 비용 증가를 두 가지 측면으로 설명하며, 무분별한 비용 지출을 경계한다.
나쁜 방법(Bad Way): 프롬프트 튜닝(Prompt Tuning), 문제 해결(Firefighting)에 집중하며, 근본적인 문제 해결 실패
좋은 방법(Good Way): 평가자(Evaluator) 비용, 재시도(Retry) 비용, 관측 가능성(Observability) 확보에 투자하여 시스템의 신뢰성 확보
단순 토큰 가격(Token Price) 비교는 오해를 불러일으킬 수 있으며, 시스템 전체의 비용을 고려해야 함
결과적으로, 신뢰성 있는 AI는 필연적으로 비용이 발생하며, 이는 시스템의 품질을 보장하는 투자이다.
엔지니어링 관점에서의 AI 시스템 구축
본문은 AI 시스템 구축이 분산 시스템 엔지니어링(Distributed Systems Engineering)과 유사하며, 기술적 깊이(Technical Depth)를 강조한다.
데이터 품질(Data Quality) 관리, 회귀(Regression) 방지, 지연 시간(Latency) 및 요청당 비용(Cost per Request) 최적화 등, 실제 운영 환경에서의 문제 해결
프롬프트 버전 관리(Prompt Versioning), 추적(Trace) 검토, 벤치마크(Benchmark) 수행, 임계값(Threshold) 튜닝 등, 지속적인 시스템 개선 노력
고위 경영진(High-profile Founders)의 비전 제시와 실제 엔지니어링 간의 간극을 인지하고, 기술적 어려움에 대한 이해 필요
결론적으로, AI 시스템 구축은 단순한 API 호출(API Call) 이상의 복잡성을 가지며, 엔지니어링 역량이 핵심이다.
