AI 에이전트, Context Window 한계를 넘어선 Deep Insight의 비법 공개!

Context Window 한계로 인한 AI 에이전트의 성능 저하, 비용 증가 문제를 해결하기 위해 Context Engineering 기법을 소개

AWS Korea SA Team이 개발한 프로덕션 Multi-Agent 시스템, Deep Insight의 아키텍처와 4가지 핵심 기법 공개

Multi-Agent 구조, 프롬프트 제어, 파일 시스템 활용, 검증 에이전트 등 4가지 계층으로 Context 효율 관리

Anthropic의 Context Engineering 기법을 실제 프로덕션 환경에 적용하고, Strands Agents SDK 활용

오픈소스 공개된 Deep Insight 코드를 통해 실제 구현 방법을 학습하고, 프로덕션 환경 적용 가능

멀티 에이전트 구조를 통한 Context 격리

Deep Insight는 멀티 에이전트 아키텍처(Multi-Agent Architecture)를 통해 Context Window 문제를 해결한다. Coordinator, Planner, Plan Reviewer, Supervisor, Tool Agents(Coder, Validator, Reporter, Tracker)로 구성된 계층 구조를 사용하며, 각 에이전트는 독립적인 Context를 가진다.

Context 격리(Context Isolation): 각 에이전트는 자신에게 필요한 정보만 받아 작업하고, 공유 정보는 최소화

shared_state 활용: messages, clues, full_plan, history 등 4가지 주요 정보만 공유

CLUES_FORMAT: 각 에이전트의 핵심 결과만 압축하여 전달, Context 오버플로우 방지

Anthropic의 블로그와 Strands Agents SDK의 Agents-as-tools 패턴을 활용하여, 오케스트레이션(Orchestration)을 단순화하고 각 에이전트의 Context를 관리한다.

프롬프트 엔지니어링을 통한 Context 유입량 제어

Layer 2에서는 프롬프트(Prompt)를 활용하여 각 에이전트의 출력 토큰 수를 제어한다. 각 에이전트의 프롬프트에 최대 토큰 수(Maximum Token Limit)를 명시하여 불필요한 응답 생성을 방지한다.

에이전트별 출력 토큰 예산: Coder(1,000~1,500 토큰), Validator(800 토큰), Reporter(1,000 토큰) 등

Self-contained 코드 철학: 모든 스크립트는 필요한 import를 포함하고, 데이터를 직접 로드

Supervisor의 섹션 완료 규칙: 프롬프트로 각 에이전트의 작업 완료 여부 판단

Anthropic의 “Writing Effective Tools for Agents” 블로그에서 제안하는 CONCISE(간결한 응답)와 DETAILED(상세한 응답) 선택 옵션을 구현하여 Context 효율성을 높였다.

파일 시스템을 활용한 Context 외부화

Layer 3에서는 write_and_execute_tool을 사용하여 코드 실행 결과를 Context 밖으로, 즉 파일 시스템으로 내보낸다. Coder 에이전트가 생성한 코드는 파일에 저장되고, Context에는 요약 정보만 남는다.

write_and_execute_tool: 코드 작성과 실행을 하나의 도구로 통합, Context에 코드 내용 누적 방지

공통 모듈 재사용: to_python_type(), track_calculation() 등 유틸리티 함수를 모듈로 정의하여 중복 코드 방지

Structured Note-Taking: all_results.txt 파일에 분석 결과를 구조화하여 축적

Claude Skills 활용: 필요한 지식만 로드하여 Context Window 압박 완화

Anthropic의 “Code Execution with MCP” 블로그에서 제안하는 실행 계층에서의 데이터 필터링을 통해 토큰 사용량을 절감한다.

검증 에이전트와 안전장치를 통한 품질 보증

Layer 4에서는 Tracker, Validator, SummarizingConversationManager를 활용하여 품질을 보증한다. Tracker는 plan의 체크리스트를 실시간으로 업데이트하여 진행 상황을 투명하게 관리하고, Validator는 Coder가 수행한 수치 계산을 독립적으로 재실행하여 정확성을 검증한다.

Tracker/Validator 에이전트: 진행 추적 및 품질 보증

우선순위 기반 검증 최적화: 계산의 중요도에 따라 검증 범위 동적 조절

SummarizingConversationManager: Context Window 초과 시 오래된 메시지 요약

선택적 프롬프트 캐싱: 반복 호출 시 입력 토큰 비용 절감

SummarizingConversationManager**는 Strands Agents SDK가 제공하는 안전장치로, Context Window 초과 시 가장 오래된 메시지의 50%를 요약한다.