이미지 검색, GPU 비용이 80%? 실제 운영 비용 공개!
by DD
4개월 전
조회수 10
GPU 인퍼런스(GPU Inference)가 전체 비용의 80%를 차지하며, OpenCLIP ViT-H/14 모델 사용 시 g6.xlarge 인스턴스 기준 월 588달러 소요
CPU 인퍼런스(CPU Inference)는 0.2 img/s로 실용성이 낮으며, 스팟 인스턴스(Spot Instances)를 활용하면 GPU 비용을 60-70% 절감 가능
벡터 데이터베이스(Vector Database), 이미지 저장, 백엔드(Backend) 인프라는 상대적으로 저렴하며, 트래픽 규모에 따라 인스턴스 및 CDN 비용 증가
유지보수(Maintenance)가 핵심 과제로, 모델 업데이트, 트래픽 급증, 장애 발생 시 지속적인 관리 필요
GPU 인퍼런스 비용 구조 분석
본 분석에 따르면, GPU 인퍼런스(GPU Inference)가 이미지 검색 시스템 운영 비용의 80%를 차지하며, OpenCLIP ViT-H/14 모델을 g6.xlarge 인스턴스에서 실행하는 데 월 588달러가 소요된다. CPU 인퍼런스(CPU Inference)는 성능 저하로 인해 실용성이 낮으며, 스팟 인스턴스(Spot Instances)를 활용하면 비용을 60-70% 절감할 수 있다. 하지만, 스팟 인스턴스는 AWS의 예고 없는 종료 가능성으로 인해 라이브 검색 환경에서는 위험 부담이 존재한다.
벡터 데이터베이스(Vector Database) 및 스토리지 비용
100만 개의 벡터를 저장하는 데 필요한 벡터 데이터베이스(Vector Database) 비용은 Pinecone, Qdrant, pgvector on RDS를 기준으로 월 50~270달러 수준이다. 이미지 저장 및 전송을 위한 S3와 CloudFront는 각각 월 11.50달러, 0~15달러로, 전체 비용에서 차지하는 비중은 작다. 하지만, 트래픽이 증가함에 따라 이 증가할 수 있으며, 1000만 개 이상의 이미지로 확장 시 데이터베이스 쿼리 지연 시간이 문제가 될 수 있다.
