프로덕션 Multi-Agent 시스템, Deep Insight 아키텍처로 풀어낸다!
AWS Korea SA Team은 프로덕션 환경에서 Multi-Agent 시스템 구축의 어려움을 해결하기 위해 Deep Insight를 개발함
Strands Agents SDK의 Graph 패턴과 Agents-as-tools 패턴을 활용하여 에이전트 간 실행 흐름 제어 및 Human-in-the-Loop(HITL)를 구현함
Amazon Bedrock AgentCore를 통해 안전한 코드 실행 환경과 운영 가시성을 확보하고, AWS Fargate를 활용한 세션별 컨테이너 격리를 구현함
Deep Insight는 오픈소스로 공개되어 있으며, Self-Hosted, Web, Managed AgentCore의 세 가지 배포 옵션을 제공함
Multi-Agent 시스템 설계: Strands Agents SDK 활용
Deep Insight는 Strands Agents SDK의 Graph 패턴을 활용하여 에이전트 간 실행 순서를 정의하고, HITL(Human-in-the-Loop) 분기 처리를 구현했다.
Graph 패턴: Coordinator, Planner, Plan Reviewer, Supervisor 간의 유연한 워크플로우 제어
Agents-as-tools 패턴: Supervisor가 Coder, Validator, Reporter, Tracker를 도구처럼 호출하여 전체 시스템의 컨텍스트 사용량 최소화
이러한 설계는 복잡한 워크플로우를 효율적으로 관리하고, 각 에이전트의 독립성을 보장하여 시스템의 확장성과 유지보수성을 향상시킨다.
LLM 모델 선택 및 비용 최적화 전략
Deep Insight는 각 에이전트의 역할에 따라 Amazon Bedrock의 Claude 모델을 다르게 선택하여 비용과 품질을 최적화했다.
Coordinator: Haiku 모델을 사용하여 빠른 라우팅 수행
Planner: Opus 모델을 활용하여 심층적인 계획 수립
Supervisor, Coder, Reporter: Sonnet 모델을 캐싱(Caching)하여 반복 호출 비용 절감
이러한 전략은 각 에이전트의 특성에 맞는 모델을 선택하고, Prompt Cache를 활용하여 토큰 사용량을 줄이는 의도적인 트레이드오프(Trade-off)를 보여준다.
프로덕션 배포 및 운영: Amazon Bedrock AgentCore
Deep Insight는 Amazon Bedrock AgentCore를 활용하여 프로덕션 환경에서의 안전한 운영을 보장한다.
세션 격리: AWS Fargate 컨테이너를 사용하여 각 분석 세션마다 독립적인 환경 제공
Private VPC 배포: Private VPC 내에서 에이전트 실행, 외부 접근 차단
모니터링: DynamoDB, Amazon SNS, Cognito를 활용한 작업 추적, 장애 알림, 관리자 대시보드 구현
이러한 구성은 LLM이 생성한 코드의 안전한 실행 환경을 제공하고, 운영팀에게 필요한 가시성을 확보하여 안정적인 서비스 운영을 가능하게 한다.
코드 실행 환경: Fargate 컨테이너와 ALB 활용
Deep Insight는 LLM이 생성한 코드의 안전한 실행을 위해 AWS Fargate 컨테이너와 Application Load Balancer(ALB)를 활용한다.
코드 격리: 각 분석 세션마다 독립적인 Fargate 컨테이너를 생성하여 보안 위험 최소화
2-Step 실행: LLM이 생성한 코드를 base64로 인코딩하여 전송, 컨테이너 내에서 파일 생성 및 실행
세션 친화성: ALB Sticky Session 쿠키를 사용하여 동일 컨테이너로 라우팅
이러한 아키텍처는 LLM이 생성한 코드 실행 시 발생할 수 있는 보안 문제를 해결하고, 안정적인 서비스 운영을 지원한다.
확장 사례: LG전자 및 TechRecon
Deep Insight의 멀티 에이전트 아키텍처는 데이터 분석 보고서 생성 외에도 다양한 도메인에 적용될 수 있음을 보여준다.
LG전자: ChatInsight 시스템 구축, 마케팅 인사이트 추출 시스템에 적용, 분석 시간 3일 → 30분으로 단축
TechRecon: 기술 정찰 에이전트 구축, Deep Insight 아키텍처를 기술 전략 도메인에 적용
핵심: Strands Agents SDK의 Graph 패턴과 Agents-as-tools 패턴을 활용, 계층적 오케스트레이션과 컨텍스트 격리라는 설계 원리 유지
이러한 사례들은 Deep Insight 아키텍처가 특정 유스케이스에 국한되지 않고, 다양한 도메인에서 활용 가능한 범용적인 설계 패턴임을 입증한다.
