OpenAI API 비용, 어디에 쓰는지 궁금하다면? 직접 대시보드를 만들어 보세요!

OpenAI의 기본 대시보드는 총 사용량만 보여주며, 세부 사용 내역(Feature, Tenant, Conversation)을 알 수 없어 문제 발생

3개의 파일(Wrapper, Table, Dashboard)로 구성된 자체 모니터링 시스템 구축, 호출별 비용(Per-call Cost)을 8자리 소수점까지 추적

자체 대시보드 구축 후, 유사하다고 생각했던 두 기능 간 100배의 비용 차이를 발견, 비용 최적화(Cost Optimization) 가능

Fire-and-forget 방식을 통해 로깅(Logging)으로 인한 성능 저하(Performance Degradation)를 방지, 사용자 경험 유지

Cloudflare AI Gateway를 사용하면 커스텀 메타데이터(Custom Metadata)를 활용하여 데이터 수집(Data Collection)을 간소화할 수 있음

본문은 OpenAI API 사용량 분석을 위해 3개의 핵심 요소(Wrapper, Table, Dashboard)로 구성된 시스템을 제안한다.

Wrapper: OpenAI API 호출을 래핑(Wrapping)하여 비용, 토큰 사용량, 응답 시간 등의 메트릭(Metrics)을 측정하고 비동기적으로 로깅(Logging) 수행