Cloudflare, AI 에이전트(Agent)를 위한 통합 AI 플랫폼 출시!
AI Gateway 출시를 통해 여러 AI 모델 제공업체의 모델을 단일 API로 통합하여 모델 접근성(Model Accessibility)을 향상시킴
자동 장애 조치(Automatic Failover) 기능을 통해 한 제공업체에 장애 발생 시 다른 제공업체로 자동 전환하여 안정성(Reliability)을 확보
AI 사용량 모니터링(AI Usage Monitoring) 및 비용 관리 기능을 제공하여 AI 지출 효율성(AI Spending Efficiency)을 개선
Replicate와의 통합을 통해 자체 모델(Custom Model)을 Workers AI에서 실행할 수 있도록 지원하며, 모델 배포 유연성(Model Deployment Flexibility)을 제공
AI Gateway: 멀티 모델 환경을 위한 단일 API
클라우드플레어(Cloudflare)는 AI Gateway를 통해 여러 AI 모델 제공업체의 모델을 단일 API(Single API)로 통합하여 개발자가 다양한 모델을 쉽게 사용할 수 있도록 지원한다.
AI.run() 바인딩(Binding): Workers AI에서 사용하던 방식을 그대로 사용하여 모델을 호출, 코드 변경 최소화(Minimal Code Change)
REST API 지원: Workers를 사용하지 않는 환경에서도 모든 모델에 접근 가능하도록 REST API 지원 예정
70개 이상의 모델, 12개 이상의 제공업체: OpenAI, Anthropic 등 다양한 모델을 하나의 API로 통합하여 모델 선택의 폭(Model Selection)을 넓힘
이러한 접근 방식은 AI 모델의 변화가 빠른 환경에서 개발자가 특정 제공업체에 종속되지 않고 유연하게 대처할 수 있도록 돕는다.
비용 관리 및 사용량 모니터링
AI Gateway는 여러 AI 모델을 사용하는 환경에서 비용 관리(Cost Management)와 사용량 모니터링(Usage Monitoring)을 위한 기능을 제공한다.
중앙 집중식 관리: 여러 제공업체의 AI 사용량을 한 곳에서 모니터링하고 관리 가능
맞춤형 메타데이터: 요청에 메타데이터를 포함하여 비용을 세분화하여 분석 가능 (예: 사용자별, 워크플로우별)
AI 지출 효율성 개선: AI 사용 패턴을 파악하고 비용을 최적화하는 데 도움
이러한 기능은 AI 모델 사용에 대한 가시성(Visibility)을 확보하고, 불필요한 지출을 줄이는 데 기여한다.
자동 장애 조치(Automatic Failover) 및 안정성
AI Gateway는 에이전트(Agent)의 안정성(Reliability)을 위해 자동 장애 조치 기능을 제공한다.
자동 라우팅: 여러 제공업체에서 제공되는 모델의 경우, 한 제공업체에 장애가 발생하면 다른 제공업체로 자동 전환
스트리밍 응답 버퍼링: 에이전트(Agent)가 중단되더라도, AI Gateway가 스트리밍 응답을 버퍼링하여 재연결 시 응답을 이어서 받을 수 있도록 지원
Agents SDK 연동: Agents SDK의 체크포인팅(Checkpointing) 기능과 결합하여 사용자 경험(User Experience) 저하 방지
이러한 기능은 에이전트(Agent)의 가용성(Availability)을 높이고, 사용자에게 끊김 없는 서비스를 제공하는 데 기여한다.
Replicate와의 통합 및 자체 모델 지원
클라우드플레어(Cloudflare)는 Replicate와의 통합을 통해 자체 모델(Custom Model)을 Workers AI에서 실행할 수 있도록 지원한다.
Cog 기술 활용: Replicate의 Cog 기술을 사용하여 머신러닝 모델을 컨테이너화
간편한 배포: cog.yaml 파일과 predict.py 파일을 통해 모델의 종속성 및 실행 코드를 정의
Workers AI API 접근: 컨테이너화된 모델을 Workers AI API를 통해 접근
이러한 기능을 통해 개발자는 자신의 데이터로 파인튜닝(Fine-tuning)된 모델을 쉽게 배포하고, AI Gateway를 통해 접근할 수 있다.
