AI 브리핑 에이전트로 공모전 등록 이탈률 39% 감소

라우드소싱은 브리핑 작성 AI를 위해 초기 설계 단계에서 초안 생성(Draft), 브리핑 검수(Review), 최종 브리핑 생성(Briefing)의 3단계로 분리된 멀티 에이전트 구조를 구상했습니다. 각 에이전트는 명확한 역할 분리를 통해 생성 품질을 단계적으로 개선하는 것을 목표로 했습니다. Draft Agent는 사용자 입력과 RAG 기반의 우수 브리핑 사례를 활용해 초안을 생성하고, Review Agent는 생성된 초안을 검토하여 부족한 정보와 추가 입력이 필요한 항목을 식별했습니다. 마지막으로 Briefing Agent는 사용자의 추가 입력을 반영하여 최종 브리핑을 생성하는 흐름으로 설계되었습니다. 이 구조는 생성 품질 향상과 역할별 독립 운영을 가능하게 합니다.

실제 서비스 적용 과정에서는 사용자 경험과 운영 효율을 고려하여 초기 멀티 에이전트 구조를 개선했습니다. 완벽한 결과 자동 생성보다 빠른 시작 경험과 품질 보완 기능이 더 중요하다는 판단 하에, 브리핑 생성과 검수를 독립된 에이전트로 분리하고 품질 기준 생성은 별도의 오프라인 분석 에이전트(Offline Analysis Agent)로 분리했습니다. 이 구조는 사용자 입력 부담과 워크플로우 복잡도를 줄이면서 브리핑 작성의 진입 장벽을 낮추는 데 기여했습니다. 또한 각 에이전트가 필요한 정보만 참조하도록 설계하여 응답 지연 시간을 최적화했습니다.

브리핑 생성 AI는 Amazon Bedrock Knowledge Bases를 활용하여 기존 브리핑 데이터를 검색(RAG)하고, 이를 프롬프트에 통합하여 활용합니다. Claude Haiku 4.5 모델은 사용자 입력 정보를 우선적으로 반영하며, 검색된 유사 브리핑 사례와 작성 가이드 정보를 함께 사용하여 완성도를 높입니다. 프롬프트 내 사용자 입력 우선 원칙을 적용하여 검색 결과가 사용자 요구사항보다 과도하게 영향을 주는 현상을 방지했습니다. 생성 결과는 Markdown 형태로 반환되어 사용자가 직접 수정·보완할 수 있도록 구성했습니다. 이는 Retrieval 품질 개선과 사용자 제어권 확보를 동시에 달성하기 위한 전략입니다.

기존 브리핑 데이터를 효과적으로 활용하기 위해 Amazon Opensearch Service 기반 벡터 검색을 도입했습니다. 초기 TXT 형태 데이터의 한계를 극복하고자 CSV 형태로 변경하고, 카테고리, 업종 등의 메타데이터를 함께 관리했습니다. 또한 브리핑 데이터의 섹션 구조를 유지하는 계층적 청킹(Hierarchical Chunking) 방식을 적용하여, 의미 단위로 Chunk를 분리하고 메타데이터를 관리함으로써 맥락에 적합한 정보 검색을 가능하게 했습니다. 이는 브리핑 데이터의 일관된 문맥 활용을 위한 핵심 개선 사항입니다.

브리핑 AI 도입 후 공모전 등록 과정에서의 사용자 이탈률이 18%에서 11%로 약 39% 감소하는 가시적인 성과를 확인했습니다. AI가 초안을 제공하고 검수 기능을 지원함으로써 사용자의 작성 부담이 크게 줄어든 결과입니다. 또한 AI 생성 브리핑만으로 공모전 등록 및 우승작 선정까지 이어진 사례를 통해 운영 가능한 수준의 품질을 입증했습니다. 사용자 만족도 조사에서도 작성 경험 개선과 결과에 대한 신뢰도 향상 등 긍정적인 반응을 얻었으며, 이는 AI가 사용자의 작성을 보조하는 방식의 높은 수용성을 보여줍니다.