AI로 5초 컷! 항공권 환불 수수료, 이제 기다리지 마세요
by DD
6개월 전
조회수 6
AI를 활용하여 항공권 환불 수수료 계산 자동화 시스템을 구축, 상담 시간 2분 → 5초로 단축
초기 LLM 단독 사용의 한계를 인지하고, Python 서버(FastAPI)와 역할 분담을 통해 성능 개선
Redis와 Celery 기반의 비동기 구조를 도입했으나, 고객 경험 저하로 인해 동기 방식으로 회귀
LLM과 코드의 역할 분담
초기에는 LLM이 모든 계산을 담당했지만, 날짜 계산 및 수수료 합산 과정에서 오류가 발생했다. FastAPI 기반의 Python 서버를 도입하여 LLM은 규정 파싱 및 데이터 추출을, 서버는 날짜 계산 및 수수료 산출을 담당하도록 분리했다. 역할 분담을 통해 응답 시간을 52% 단축하고 정확도를 향상시켰다.
비동기 구조의 함정: 고객 경험
성능 개선을 위해 Redis와 Celery를 활용한 비동기 구조를 도입했다. Redis 큐에 Job을 등록하고, Celery 워커에서 백그라운드로 처리하는 방식이었다. 비동기 처리는 서버 리소스 효율을 높였지만, 챗봇 환경에서 응답 지연으로 인해 고객 이탈을 유발했다. 따라서 동기 방식으로 회귀했다.
5초 응답 시간 달성을 위한 최적화
동기 구조로 회귀 후, 입력 데이터 최소화 및 모델/하이퍼파라미터 조합 실험을 통해 응답 시간을 5초 이내로 단축했다. LLM이 처리해야 할 데이터 양을 줄이고, 정확도와 속도 간의 균형점을 찾았다. 결과적으로 상담 시간 95% 절감 및 고객 만족도 향상을 달성했다.
