월 5달러로 AI 검색 구축! Cloudflare Edge의 마법
by DD
6개월 전
조회수 33
Cloudflare Edge를 활용하여 기존 RAG 시스템 대비 90% 이상 비용 절감을 달성함
Workers AI와 Vectorize를 통해 임베딩 생성 및 벡터 검색을 엣지 환경에서 수행
MCP 아키텍처를 적용하여 응답 시간 365ms 및 높은 성공률을 보장
엣지 컴퓨팅 기반 RAG 시스템의 구조
본 시스템은 Cloudflare Edge에서 Workers AI를 사용하여 임베딩 생성을 수행한다. 구체적으로, bge-small-en-v1.5 모델을 활용하여 텍스트를 벡터로 변환한다. 따라서 Vectorize를 통해 벡터 검색을 수행하고, 결과를 반환한다. 결과적으로, 네트워크 지연 시간 감소와 비용 절감을 동시에 달성한다.
전통적인 RAG 시스템 vs 엣지 기반 RAG 시스템
전통적인 RAG 시스템은 과 같은 를 사용하며, 를 통해 임베딩을 생성한다. 반면, 엣지 기반 시스템은 와 를 활용하여 을 실현한다. 따라서 과 을 확보할 수 있다. 측면에서 엣지 시스템은 가용성을 우선시한다.
