AI 기능, 프롬프트가 아닌 시스템으로 설계해야 하는 이유
AI 기능은 단순히 '프롬프트' 한 줄이 아닌, 복잡한 시스템의 결과물임을 강조하며 기존의 오해를 바로잡음
입력 검증, 프롬프트 설계, 출력 처리, 오케스트레이션 등 4가지 시스템 레이어의 중요성을 설명함
AI의 '틀림'을 기술적 한계가 아닌 UX 설계의 출발점으로 삼아, 신뢰 구축을 위한 정직한 표현과 연착륙 설계를 제안함
AI 기능의 4가지 핵심 시스템 레이어
AI 기능은 사용자의 '날것의 입력'을 받아 모델에 전달하기 전 입력 검증(Input Validation), 모델의 역할과 제약을 명확히 하는 정교한 프롬프트(Sophisticated Prompt) 설계, 모델 응답의 정확성과 안전성을 검사하는 출력 처리(Output Processing), 그리고 이 모든 과정을 조율하는 오케스트레이션(Orchestration) 레이어로 구성됨.
각 레이어는 기능의 안정성과 신뢰성 확보에 필수적이며, 어느 하나라도 빠지면 프로덕트가 무너지거나 잠재적 위험을 안고 출시될 수 있음.
특히, 사용자가 상상하기 어려운 다양한 입력 패턴(긴 질문, 타 언어, 개인정보 등)을 처리하기 위한 입력 검증 단계와, 모델의 환각(Hallucination)을 제어하고 일관된 캐릭터를 유지하기 위한 시스템 프롬프트(System Prompt)의 역할이 중요함.
AI의 '틀림'을 다루는 UX 설계 전략
AI의 환각(Hallucination)은 기술적 한계가 아닌 UX 설계의 출발점으로 삼아야 함. AI가 틀린 답을 내놓을 때, 이를 숨기기보다 정직하게 알리는 UX 설계가 신뢰 구축의 핵심임.
확률형 표현(Probabilistic Expression) 사용: '가능합니다'와 같이 불확실성을 내포한 어조로 답을 제시하고, 출처(Sources) 표시와 확신 정도(Confidence Level)를 함께 제공하여 사용자가 답을 검증할 수 있도록 지원함.
사람에게로의 탈출구(Human Escalation) 마련: AI가 답변하기 어려운 상황에서 사용자가 막히지 않도록 상담사 연결 등 자연스러운 전환 경로를 설계하는 것이 중요함.
결과적으로, AI 프로덕트의 신뢰는 '틀리지 않음'이 아닌 '틀릴 때 어떻게 행동하느냐'에서 만들어짐.
시스템 프롬프트의 역할과 구성 요소
시스템 프롬프트는 사용자가 직접 보지 못하는 지시문으로, AI 모델에게 일관된 역할, 톤, 답변 형식, 참고 정보, 금지 사항, 비상 탈출구를 명확히 정의하여 마치 감독의 디렉팅처럼 모델의 행동을 제어함.
좋은 시스템 프롬프트는 단순히 한 줄이 아니라, 모델의 페르소나(Persona)를 구축하고 사용자 메시지의 다양성 속에서도 일관된 캐릭터 유지를 가능하게 함.
예를 들어, '당신은 고객 지원 담당자이며, 존댓말로 5문장 이내로 답변하고, 정책 문서를 근거로 하되 가격 약속은 금지하며, 불확실 시 담당자 연결을 안내하라'는 식의 구체적인 지시가 포함됨.
이러한 시스템 프롬프트의 부실함은 종종 AI 챗봇이 예측 불가능하게 행동하는 원인이 됨.
AI 기능의 연착륙 설계(Graceful Degradation)
AI 시스템은 필연적으로 실패할 수 있으며, 이때 사용자 경험을 저해하지 않도록 '좋은 실패'를 설계하는 것이 중요함. 이는 재시도(Retry), 폴백(Fallback), 사람 연결(Escalation)의 3단계 흐름으로 구현됨.
재시도: 같은 질문을 다른 방식으로 다시 시도하거나 다른 모델을 활용하여 사용자에게는 실패를 인지시키지 않고 답을 제공함.
폴백: AI 답변이 불가능할 경우, FAQ, 검색 결과, 안내 페이지 등 대체 정보를 제공하여 사용자의 질문에 계속 답함.
사람 연결: 위의 단계로도 해결되지 않을 때, 이전 대화 내용을 전달하며 자연스럽게 상담사에게 연결하여 문제 해결을 지원함.
이러한 연착륙 설계는 AI의 실패가 사용자에게 '망가졌다'는 인상을 주는 대신 '사람의 도움이 필요한 상황'으로 인식되도록 유도함.
AI 프로덕트 신뢰 구축을 위한 핵심 패턴
AI 프로덕트의 신뢰는 '틀리지 않음'이 아닌, '틀릴 때 어떻게 행동하느냐'에서 비롯됨. 이를 위해 출처 표시, 확신 정도 표시, 사람에게로의 탈출구라는 세 가지 신뢰 설계 패턴을 시스템의 출력 처리 레이어에 적용해야 함.
출처 표시: 답변의 근거가 되는 문서나 URL을 함께 제공하여 사용자가 답을 검증하고 신뢰할 수 있도록 함 (예: Perplexity).
확신 정도: 답변의 확실성을 톤이나 명시적 표시로 구분하여 사용자가 답의 무게감을 인지하도록 함 (예: ChatGPT의 'AI는 실수할 수 있습니다').
사람에게로의 탈출구: AI가 풀 수 없는 질문에 대해 명확한 안내와 함께 상담사 연결 옵션을 제공하여 사용자의 불편을 최소화함.
이 패턴들은 AI의 한계를 정직하게 드러내며 사용자와의 신뢰 관계를 구축하는 기반이 됨.
