AI 에이전트 도입으로 분석가 업무 효율

마이리얼트립은 슬랙 기반의 데이터 에이전트를 구축하여 분석 요청 처리 자동화를 구현했다. 핵심 아키텍처는 크게 하니스(Harness)와 지식 체계(Knowledge System)로 구성된다. 하니스는 에이전트의 워크플로(Workflow), 권한(Permission), 안전망(Safety Net)을 정의하며, 지식 체계는 거래액, 테이블 정의 등 데이터 정의(Data Definition)를 담고 있다. 슬랙 메시지 수신부터 답변 생성까지, Listener, Dispatcher, Parent Worker, Sub-agent(워커)를 거치는 구조로 설계되었다. 특히, Parent Worker는 Lazy Load 방식을 통해 컨텍스트 비용을 최소화했다.

데이터 에이전트의 지식 체계는 정확하고 일관된 답변을 제공하기 위한 핵심 요소이다. Metric Registry는 회사에서 자주 사용되는 핵심 지표를 YAML 형식으로 정의하고, 표현, 정의, 필터, 계산식을 관리한다. 이를 통해 사용자의 다양한 요청(예: “거래 얼마야”, “GMV 뽑아줘”)을 동일한 메트릭으로 수렴시킨다. 또한, DBT YAML 메타데이터를 활용하여 마트 테이블의 컬럼 정보를 관리한다. 이러한 지식 체계는 클로드(Claude)의 Auto Memory 기능을 끄고, 명시적인 Knowledge만 사용함으로써 AI 환각(Hallucination)을 방지한다.

데이터 에이전트는 4겹의 안전망(Safety Net)을 통해 부작용을 방지하고 있다. 첫째, Role(권한)을 통해 워커별 접근 권한을 제한하여, 한 워커의 오류가 전체 시스템에 미치는 영향을 최소화한다. 둘째, Gate(게이트)를 통해 요청의 유효성을 사전 검증하여, 잘못된 요청에 대한 답변 생성을 방지한다. 셋째, Rule(규칙)을 통해 Metric Registry의 행동 규칙, 워커별 작업 명세 등을 정의하여 설명 가능한 안전망을 구축한다. 마지막으로, Hook(훅)을 통해 SQL 실행 직전 코드를 검증하여, 데이터 변경 명령을 차단하고 스캔 한도 정책을 적용한다. 이러한 안전망은 GDPR 규제 준수(GDPR Compliance)에도 기여한다.

마이리얼트립은 100개 이상의 Eval(평가) 시스템을 운영하여 AI 에이전트의 품질을 지속적으로 관리한다. 각 Eval은 특정 프롬프트에 대한 기대 답변을 명시적으로 정의하고, 매 배포 전에 실제 슬랙 대화를 자동 재현하여 정확성(Accuracy), 행동 경로(Action Path), 안정성(Stability), 형식(Format)을 검증한다. 사용자의 피드백을 반영하여 Metric Registry, 규칙, 스킬을 수정하고, 재발 방지 테스트를 추가하는 운영 루프(Operation Loop)를 통해 에이전트의 품질을 개선한다. 이는 AI 에이전트의 지속적인 성능 유지에 필수적이다.

마이리얼트립은 AI 에이전트 도입을 통해 분석가의 역할을 변화시켰다. 반복적인 분석 업무는 AI 에이전트에게 위임하고, 분석가는 지표 설계, 정책 의사결정, 새로운 AI 에이전트 개발 등 핵심 업무(Core Task)에 집중할 수 있게 되었다. 이는 Human-in-the-loop와 반대되는 개념인 Closure-loop을 통해, 사람이 병목이 되는 부분을 AI로 대체하고, 사람이 더 잘할 수 있는 일에 집중하는 전략이다. 데이터 파이프라인 개선, Metric Registry 업데이트, 새로운 사용 사례에 대한 Eval 추가 등을 통해 지속적인 시스템 개선을 이루고 있다.