AgentCore로 AI Agent 운영, 보안, 품질, 가시성 모두 잡았다!

Header Propagation vs. Interceptor Lambda: Header Propagation은 지정된 헤더를 Target으로 직접 전달하지만, Interceptor Lambda는 헤더를 가공하거나 Body Injection을 통해 모든 타겟 유형에서 일관된 처리를 지원

Body Injection: Interceptor Lambda는 Body Injection을 통해 모든 타겟 유형(API Gateway, Lambda, Runtime)에서 일관되게 데이터를 전달하여 유연한 데이터 처리(Flexible Data Handling)를 가능하게 함

Interceptor의 역할: Interceptor는 Policy Engine의 한계를 보완하며, 외부 시스템 연동, 사용자 정보 주입, 요청 변환 등 다양한 커스터마이징(Customization)을 지원

13개 빌트인 평가자: Helpfulness, Correctness, Faithfulness 등 다양한 지표를 통해 Agent 응답의 품질을 평가하며, 세션(Session), 트레이스(Trace), Tool 호출(Tool Call) 레벨로 구분

LLM-as-a-Judge: 빌트인 평가자로 충분하지 않은 경우, LLM을 활용한 커스텀 평가자를 생성하여 기업 고유의 품질 기준을 적용

온라인 연속 평가: 프로덕션 환경에서 모든 Agent 세션을 자동으로 샘플링하여 지속적으로 평가하며, Agent 품질 드리프트(Drift)를 조기에 감지하여 대응

OpenTelemetry 표준: 분산 추적(Distributed Tracing), 메트릭 수집, 로그 관리를 통해 Agent의 각 단계(LLM 호출, Tool 선택, Tool 실행)를 시각화

CloudWatch GenAI Observability 대시보드: 세션 수, 레이턴시, 토큰 사용량, 에러율 등 핵심 메트릭을 실시간으로 제공하며, 세션(Session) 단위 추적 지원

자동 계측: aws-opentelemetry-distro를 의존성에 추가하고, ENTRYPOINT를 opentelemetry-instrument로 감싸는 것만으로 HTTP 요청, LLM 호출, Tool 실행, 데이터베이스 접근 등을 자동 계측

Policy와 Evaluation의 상호 작용: Policy는 사전 제어, Evaluation은 사후 평가를 담당하며, Evaluation 결과는 Policy 정책 개선의 근거로 활용

Lambda Interceptor와 Policy Engine의 협력: Policy Engine은 선언적 정책 관리, Interceptor는 코드 기반 유연성을 제공하여 다양한 접근 제어 요구사항(Diverse Access Control Requirements) 충족

온라인 연속 평가의 중요성: LLM 기반 Agent의 품질 변화를 조기에 감지하고 대응하여, Agent 품질 드리프트(Drift)를 방지하고 지속적인 품질 관리