AI 분석 에이전트로 2주 걸리던 분석을 10분 만에!

PJ One Piece는 비즈니스 질문-데이터-분석 프로세스-도메인 지식을 유기적으로 연결하는 AI 에이전트 플랫폼을 구축했습니다. 사용자는 자연어 인터페이스를 통해 복잡한 기술적 요소를 몰라도 질문을 던질 수 있으며, 에이전트는 LLM 기반 추론을 통해 분석 계획을 수립하고 SQL 실행, Python 코드 실행, 사내 문서 조사 등 다양한 도구를 활용합니다. 또한, 도메인 지식, 스킬, 테이블 정보를 담은 지식 베이스와 로그 및 피드백을 활용하는 측정 시스템을 결합하여, 단순 자동화를 넘어 지속적으로 학습하고 개선되는 분석 실행 플랫폼을 구현했습니다. 이는 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 각 도메인의 지식을 안전하게 관리하며, 데이터 미저장 정책(Zero-Retention Policy)을 준수하여 사용자 프라이버시를 보호하는 것을 목표로 합니다.

사용자의 모호한 자연어 질문을 명확한 분석 요구사항으로 변환하는 것이 핵심 과제입니다. 에이전트는 도메인 지식과 테이블 정보를 참조하여 질문의 배경, 대상 정책, 기간, KPI, 비교 대상, 분석 단위 등 누락된 전제 조건을 식별하고 사용자에게 확인합니다. 예를 들어, '지난주 캠페인은 매출에 효과가 있었는가?'라는 질문에 대해 에이전트는 필요한 데이터 필드와 집계 방식을 추론하고, 사용자가 SQL이나 테이블 구조를 알지 못해도 분석을 시작할 수 있도록 지원합니다. 이 과정에서 서비스 이해, KPI 정의, 집계 시 주의사항 등을 프롬프트에 직접 넣는 대신 도메인별 지식으로 관리하여 컨텍스트 길이를 최적화하고, 단계별 정보 공개를 통해 필요한 시점에 필요한 지식만 제공하여 효율성을 높였습니다.

분석 설계부터 실행, 해석까지 맥락(Context)이 끊기지 않도록 멀티 에이전트 구성을 채택했습니다. 메인 에이전트가 전체 맥락을 관리하며, 통계 검정, 시계열 분석 등 전문 작업은 역할이 제한된 서브 에이전트에 위임합니다. 이를 통해 복잡한 분석이나 독립적인 리뷰도 가능해집니다. 또한, 대규모 데이터 환경에서 LLM 입력 토큰 증가로 인한 비용 및 성능 저하를 막기 위해, 테이블 목록과 상세 정보를 분리하고 논리적 뷰(Logical View) 또는 와이드 테이블(Wide Table)을 에이전트에 제공하여 SQL 생성 복잡도를 낮췄습니다. SQL 실행 전에는 파티션 조건, 민감 정보 제한, 결과 행 수 제어 등 시스템 레벨의 가드레일을 적용하여 안전성을 확보했습니다.

분석 에이전트를 단순 도구가 아닌 조직의 공통 자산으로 만들기 위해 사용자 로그와 피드백을 적극 활용합니다. 로그 분석을 통해 에이전트의 동작, SQL 생성 과정, 오류 발생 지점 등을 파악하고, 사용자 피드백과 결합하여 개선 백로그를 관리합니다. 반복적으로 등장하는 분석 패턴은 범용 스킬 또는 도메인 특화 스킬 형태로 명문화하여 재사용성을 높입니다. 예를 들어, 시계열 분석, 클러스터링 분석, 월간 보고서 작성 등이 스킬화될 수 있습니다. 이러한 과정을 통해 분석 지식과 패턴을 조직 전체로 확산시키고, 분석 역량을 지속적으로 향상시키는 실행 플랫폼으로 발전시키고 있습니다.

분석 에이전트 도입으로 데이터 사이언티스트는 단순 요청 기반 분석 업무에서 벗어나 사업 과제 발굴 및 분석 역량 체계화로 역할을 확장하고 있습니다. 분석 실행은 에이전트가 담당하고, 데이터 사이언티스트는 상위 전략 수립 및 기획 프로세스 참여, 잠재적 사업 과제 정의 및 해결에 집중합니다. 이로 인해 개별 프로젝트 투입 공수가 약 2배 향상되었으며, 확보된 시간은 재사용 가능한 분석 자산 구축에 투자되어 장기적인 분석 역량 강화에 기여합니다. 이는 AI 시대에 사람과 AI의 역할 분담 설계가 중요함을 시사합니다.