Amazon Bedrock 기반 Claude Code, LLM Gateway로 안전하게 사용하세요!
기업 환경에서 AI 코딩 도구 사용 시, 사용자별 사용량 추적, 예산 관리, SSO 연동 등의 문제 해결 필요
Amazon Bedrock에서 Claude Code를 안전하게 운영하기 위해 LLM Gateway 구축
IAM Identity Center SSO 인증과 LiteLLM Proxy를 결합하여, 개발자는 간편하게 Claude Code 사용, 관리자는 사용량 추적 및 예산 관리 가능
Pass-through 모드를 선택하여 Claude Code의 모든 기능과 호환성을 유지하며, 5-Layer 인증 체인을 통해 보안 강화
AWS CDK를 활용한 인프라 구축으로 배포 및 확장이 용이하며, 팀별 예산 관리, 감사 로그 등 다양한 기능 확장 가능
LLM Gateway 아키텍처 심층 분석
본 아키텍처는 IAM Identity Center SSO를 통해 인증하고, LiteLLM Proxy를 활용하여 사용자별 사용량 추적, 예산 관리, 접근 제어를 구현한다.
5-Layer 인증 체인: SSO 로그인, API Gateway 호출, SSO ARN 검증, LLM 요청, Bedrock 호출 등 다중 계층으로 보안 강화
Token Service: SSO 인증 체계와 LiteLLM Virtual Key 체계를 연결하며, DynamoDB 캐싱을 통해 성능 최적화
VPC Endpoint: AWS PrivateLink를 통해 Bedrock 호출 시 AWS 내부 네트워크를 사용, 보안 및 비용 효율성 증대
이러한 구조는 엔터프라이즈 환경에서 AI 코딩 도구를 안전하게 운영하기 위한 핵심 요소들을 제공한다.
LiteLLM Pass-through 모드 선택의 기술적 의미
본문에서는 LiteLLM의 Pass-through 모드를 선택하여 Claude Code의 모든 기능을 완벽하게 지원한다.
Translation 모드 vs Pass-through 모드: Translation 모드는 범용 클라이언트 지원에 유리하지만, Claude Code와 같이 Bedrock API를 사용하는 도구에는 불필요한 변환으로 기능 손실 발생 가능
Bedrock 네이티브 API: Pass-through 모드는 Bedrock 네이티브 API를 그대로 사용하므로, prompt caching, anthropic-beta 헤더 등 모든 기능 유지
보안: LiteLLM PyPI 패키지 보안 취약점(1.82.7, 1.82.8)에 대한 대응으로, Docker 이미지 사용을 권장
결과적으로 Pass-through 모드는 Claude Code의 성능과 기능을 최대한 활용하면서, 보안 문제까지 해결하는 최적의 선택이다.
비용 관리 및 예산 통제 메커니즘
본 아키텍처는 LLM Gateway를 통해 사용자별 비용 추적 및 예산 관리 기능을 제공하여, AI 코딩 도구의 비용을 효과적으로 통제한다.
Virtual Key 기반 예산 설정: LiteLLM의 Virtual Key에 예산을 설정하여, 사용자별 월별 지출 제한 가능
AWS Budgets 연동: Gateway 레벨의 1차 방어선과 더불어, AWS Budgets를 통해 계정 레벨의 2차 방어선 구축
API 및 관리자 포털: API를 통한 자동화, LiteLLM 관리자 포털을 통한 수동 관리 모두 지원
이러한 이중 방어 시스템은 비용 폭주를 방지하고, AI 코딩 도구의 효율적인 사용을 돕는다.
개발자 경험(DX) 개선 전략
본 아키텍처는 개발자가 aws sso login과 claude 명령어 실행만으로 Claude Code를 사용할 수 있도록 하여, 개발자 경험을 극대화한다.
자동화된 인증 및 키 관리: Token Service가 Virtual Key를 자동 발급하고, Claude Code가 이를 Bearer Token으로 사용
SSO 세션 기반 사용: SSO 세션이 유효한 동안은 claude 명령어만 실행하면 되므로, 사용 편의성 증대
API KeyHelper 스크립트: SSO 자격 증명을 자동으로 처리하여, 개발자가 별도로 API 키를 관리할 필요 없음
이러한 간편한 사용성은 AI 코딩 도구의 도입 장벽을 낮추고, 개발자의 생산성을 향상시킨다.
확장 가능한 아키텍처 설계
본 아키텍처는 팀별 예산 관리, 감사 로그, 외부 IdP 연동, Bedrock Guardrails, AWS Budgets 등 다양한 기능으로 확장 가능하다.
팀별 예산 관리: Token Service에서 SSO 그룹 정보를 추출하여 LiteLLM의 팀 기능과 연동
감사 로그: Amazon Bedrock Model Invocation Logging을 통해 모든 모델 호출의 요청/응답/메타데이터 기록
외부 IdP 연동: Microsoft Entra ID, Okta 등 외부 IdP와 SAML 2.0 연동 지원
Bedrock Guardrails: 프롬프트 인젝션 차단, PII 필터링, 유해 콘텐츠 감지 등 Bedrock 서비스 레벨 보안 강화
이러한 확장성은 조직의 요구사항에 맞춰 AI 코딩 환경을 유연하게 커스터마이징할 수 있도록 한다.
