EKS Auto Mode로 AI 플랫폼 운영 자동화 & 비용 절감!

Bifrost AI Gateway는 자체 호스팅 모델과 Amazon Bedrock을 통합하여, 앱 코드 변경 없이 모델 간 라우팅을 전환할 수 있도록 지원한다. Bifrost는 20개 이상의 모델 제공자를 OpenAI-compatible API로 통합하며, 자체 호스팅 vLLM도 Custom Provider로 등록하여 동일한 인터페이스로 관리한다.

Bifrost를 통해 애플리케이션은 단일 엔드포인트만 호출하고, provider/model 형식으로 라우팅 대상을 지정하여 유지보수성(Maintainability)을 향상시킨다.

본문은 AI 플랫폼의 비용과 품질을 동시에 관리하기 위해 인프라 레벨과 애플리케이션 레벨, 두 가지 관측성을 확보하는 2-Tier 관측성 전략을 제시한다. 인프라 레벨에서는 Bifrost를 통해 모델별 API 호출 비용, 토큰 사용량, 지연 시간을 추적하고, 애플리케이션 레벨에서는 Langfuse를 통해 각 에이전트의 실행 시간, 입출력, 품질 평가를 추적한다.

이러한 2-Tier 관측성 확보를 통해 AI 플랫폼의 운영 안정성을 높이고, 지속적인 개선을 가능하게 한다.

본문은 vLLM을 자체 호스팅하여 비용을 절감하고, 성능을 최적화하는 아키텍처를 제시한다. vLLM은 PagedAttention 알고리즘을 사용하여 GPU 메모리 효율을 극대화하는 고성능 오픈소스 LLM 서빙 라이브러리이다. EKS Auto Mode에서는 Graviton 인스턴스가 선택될 수 있으므로, vLLM Production Stack Helm chart 대신 Kubernetes Deployment를 직접 작성하여 GPU NodePool에 배포하는 방법을 권장한다.

이러한 설정을 통해 vLLM의 성능을 극대화하고, GPU 자원 활용도를 높일 수 있다.

Langfuse는 LLM 애플리케이션의 트레이싱, 평가, 비용 추적을 위한 오픈소스 관측성 플랫폼이다. 데이터 주권이 중요하거나 비용 최적화가 필요한 경우 자체 호스팅을 권장한다. Langfuse는 OpenTelemetry 기반이며, 각 에이전트에 @observe 데코레이터를 추가하면 span이 자동 기록되고, propagate_attributes()로 trace metadata가 하위 span에 전파된다.

Langfuse를 통해 LLM 애플리케이션의 가시성을 확보하고, 문제 해결 및 성능 개선을 위한 인사이트를 얻을 수 있다.

본문은 EKS Auto Mode + Bifrost + Langfuse를 기반으로 구축된 Agentic AI 플랫폼을 프로덕션 환경으로 확장하기 위한 주요 영역을 제시한다. 컨트롤 플레인 확장, AWS 리소스 관리, 인프라 추상화, MLOps 자동화, 트래픽 관리, 추론 최적화, LoRA Lifecycle, Agent 안전성, GPU 파티셔닝 등 다양한 측면을 고려해야 한다.

프로덕션 환경에서는 이러한 요소들을 고려하여 시스템의 안정성, 확장성, 효율성을 확보해야 한다.