200줄 AI 라우터로 AI 비용 41% 절감!
AI 모델 호출 비용을 절감하기 위해 200줄의 TypeScript 기반 AI 라우터(AI Router)를 직접 구축
모델별 비용 및 성능을 분석하여, 저렴한 모델을 우선적으로 사용하도록 호출 규칙(Routing Rules)을 설정
기존 AI 서비스 래퍼(Wrapper)의 과도한 비용(Orchestration Tax)을 파악하고, 직접 라우팅하여 비용 절감
라우터 구축 후 AI 사용 비용을 41% 절감하고, 더 많은 호출을 처리하는 결과를 얻음
AI 라우터(AI Router) 아키텍처 및 작동 원리
본문에서 제시된 AI 라우터(AI Router)는 의도 기반 라우팅(Intent-based Routing)을 핵심으로 한다.
규칙 엔진(Rule Engine): 프롬프트(Prompt)의 내용에 따라 정규 표현식(Regex) 기반의 규칙을 적용하여 적절한 AI 모델 선택
비용 계산(Cost Calculation): 각 모델의 입력 및 출력 토큰(Token) 수를 기반으로 API 호출 비용(API Call Cost)을 계산
확장성(Extensibility): 새로운 모델 추가 및 규칙 변경이 용이하도록 설계되어, 유연한 모델 관리(Flexible Model Management) 가능
이러한 구조는 AI 모델 사용 비용을 최적화하고, 특정 작업에 가장 적합한 모델을 선택할 수 있도록 돕는다.
비용 절감(Cost Reduction)을 위한 라우팅 규칙 설계
저자는 AI 모델 호출 비용을 절감하기 위해 세밀한 라우팅 규칙(Routing Rules)을 적용했다.
의도 분류(Intent Classification): 프롬프트의 의도를 'trivial', 'code', 'plan', 'embed'로 분류하고, 각 의도에 맞는 모델을 할당
정규 표현식(Regex) 활용: 프롬프트 내용에 따라 정규 표현식(Regex)을 사용하여 의도를 정확하게 파악
비용 최적화(Cost Optimization): 저렴한 모델(예: Haiku)을 우선 사용하고, 복잡한 작업에만 고비용 모델(예: Opus)을 할당
이러한 전략을 통해 불필요한 고비용 모델 호출을 줄이고, 전체 AI 사용 비용을 절감했다.
AI 서비스 래퍼(Wrapper)의 문제점과 해결 방안
저자는 기존 AI 서비스 래퍼(Wrapper)의 문제점을 지적하고, 직접 라우터를 구축하여 해결했다.
오케스트레이션 비용(Orchestration Tax): 래퍼가 사용자를 대신하여 모델을 선택하고, 자체 시스템 프롬프트 및 도구 정의를 포함하여 과도한 비용(Excessive Cost) 발생
투명성 부족(Lack of Transparency): 래퍼가 사용하는 모델 및 프롬프트 내용을 사용자가 알 수 없어, 비용 최적화(Cost Optimization)가 어려움
직접 라우팅(Direct Routing)의 장점: 사용자가 직접 모델을 선택하고, 프롬프트 내용을 제어하여 비용 효율성(Cost Efficiency)을 극대화
결과적으로, 직접 라우팅을 통해 AI 사용 비용을 절감하고, 유연한 모델 관리(Flexible Model Management)를 가능하게 했다.
AI 라우터(AI Router) 구축 시 고려 사항
AI 라우터(AI Router) 구축 시, 몇 가지 추가적인 고려 사항이 존재한다.
확장 기능(Extensibility): 스트리밍(Streaming), 캐싱(Caching), 재시도(Retries), 도구 사용(Tool Use) 등 추가 기능 구현 필요
모니터링(Monitoring): 라우팅 규칙의 정확성 및 모델별 사용량에 대한 모니터링 시스템(Monitoring System) 구축
유지보수(Maintenance): API 변경 및 모델 업데이트에 대한 지속적인 유지보수(Continuous Maintenance) 필요
이러한 고려 사항을 통해 AI 라우터(AI Router)의 안정성과 효율성을 높이고, 장기적인 비용 절감 효과를 유지할 수 있다.
