AI 프로덕트, 기존 소프트웨어와 무엇이 다를까? PM을 위한 필독 가이드

기존 소프트웨어는 결정론적(Deterministic) 시스템으로, 동일 입력에 항상 동일한 출력을 보장한다. 반면, AI 프로덕트는 확률론적(Probabilistic) 시스템으로, 동일 입력에도 다른 결과를 생성한다. 이러한 차이는 AI 프로덕트의 기획, 테스트, 운영 방식에 근본적인 변화를 요구한다. PM은 이러한 차이를 이해하고, AI 프로덕트의 특성에 맞는 전략을 수립해야 한다. 특히, AI 환각(Hallucination)과 같은 문제에 대한 대비가 필요하다.

기존 소프트웨어는 “입력 A → 출력 B” 형태의 결정론적 테스트(Deterministic Test)를 수행하지만, AI 프로덕트는 매번 다른 답을 생성하므로, “정답 맞히기” 방식의 테스트는 부적절하다. 대신, Eval(Evaluation)을 통해 사실 관계, 톤, 길이 등을 평가하여 “허용 범위” 내에 있는지 검증해야 한다. Eval 엔지니어(Eval Engineer)와 같은 새로운 직무가 등장할 정도로, AI 프로덕트 테스트는 중요한 영역으로 부상했다. 자동화 테스트(Automated Test)의 한계를 인지하고, 다양한 각도에서 품질을 평가해야 한다.

AI 프로덕트의 가장 까다로운 실패 모드는 AI 환각(Hallucination)이다. 시스템은 정상 작동하지만, 내용이 틀린 경우로, 사용자는 문제를 인지하기 어렵다. 에어캐나다 챗봇 사례처럼, 잘못된 정보로 인해 심각한 결과가 발생할 수 있다. 따라서, AI 프로덕트는 신뢰 설계(Trust Design)를 통해 사용자의 신뢰를 확보해야 한다. 답변의 출처, 확신 정도, 인간 담당자에게의 에스컬레이션 경로 등을 제공하여, 사용자가 AI의 한계를 인지하고, 적절하게 대응할 수 있도록 돕는 것이 중요하다.

AI 프로덕트는 사용자의 질문에 따라 토큰(Token) 단위로 과금되므로, 인프라 비용 예측이 어렵다. 사용자의 “창의적인” 활용으로 인해 비용 폭증(Cost Explosion)이 발생할 수 있으며, 이는 기존 SaaS PM에게는 생소한 문제다. 따라서, AI 프로덕트 PM은 비용 모니터링 시스템을 구축하고, 이상 징후를 조기에 감지해야 한다. 비용 효율적인 모델(Cost-efficient Model) 선택, 토큰 사용량 최적화, 사용 패턴 분석 등을 통해 비용을 관리해야 한다.

AI 프로덕트 PM은 기존 소프트웨어 PM과 달리, 확률론적(Probabilistic) 시스템을 이해하고, 이에 맞는 전략을 수립해야 한다. 기존의 사용자 중심 사고, 가설 검증, 데이터 기반 의사결정은 여전히 유효하지만, 이를 “확률적으로” 움직이는 시스템에 맞춰 적용해야 한다. 출시 후에도 지속적인 모니터링, 사용자 피드백 수집, 모델 업데이트 등을 통해, AI 프로덕트의 품질을 유지하고 개선해야 한다. 즉, AI 프로덕트 PM은 “확률과 함께 사는 법을 설계하는 사람”으로 역할이 변화하고 있다.