Cloud Run Jobs로 Gemma 3 Fine-tuning, 서버리스 GPU로 펫 품종 정확도 94% 달성!
Google Cloud의 NVIDIA RTX PRO 6000 Blackwell GPU 출시로 서버리스(Serverless) 환경에서 오픈 모델 Fine-tuning 가능
Gemma 3 27B 모델을 활용하여 펫 품종 분류(Pet Breed Classification)를 위한 멀티모달 모델 Fine-tuning 수행
Cloud Run Jobs를 통해 인프라 관리 부담 없이(Infrastructure Management), 비용 효율적인 Fine-tuning 환경 구축
GCS 볼륨 마운트(GCS Volume Mount)를 활용하여 모델 가중치(Model Weights)에 대한 고속 접근 지원
Cloud Run Jobs를 활용한 Fine-tuning 아키텍처
본문에서는 Gemma 3 27B 모델을 Cloud Run Jobs에서 Fine-tuning하기 위한 아키텍처를 제시한다. 핵심은 NVIDIA RTX PRO 6000 Blackwell GPU를 활용하여 서버리스 환경에서 대규모 모델 Fine-tuning을 수행하는 것이다.
컨테이너 기반(Container-based) 배포: Fine-tuning 로직을 컨테이너로 패키징하여 Cloud Run Jobs에 배포(Deployment), 인프라 관리 부담을 줄임
GCS 볼륨 마운트(GCS Volume Mount): 모델 가중치를 GCS에 저장하고, Cloud Run Job에서 이를 볼륨으로 마운트(Mount)하여 빠른 데이터 접근 보장
자동 스케일링(Auto-scaling): 사용하지 않는 GPU 인스턴스(Instance)는 자동으로 0으로 스케일링되어 비용 효율성(Cost-efficiency) 극대화
NVIDIA RTX PRO 6000 Blackwell GPU의 성능 분석
NVIDIA RTX PRO 6000 Blackwell GPU는 Gemma 3 27B 모델 Fine-tuning에 필요한 충분한 성능을 제공한다. 특히, 96GB VRAM, 1.6TB/s 대역폭(Bandwidth) 및 FP4/FP6 정밀도(Precision) 지원은 멀티모달(Multimodal) Fine-tuning에 적합하다.
4-bit 양자화(Quantization): bitsandbytes 라이브러리를 사용하여 27B 파라미터 모델(Parameter Model)을 96GB VRAM에 적합하게 로드
LoRA(Low-Rank Adaptation): 전체 파라미터 업데이트 대신 LoRA를 사용하여 학습 가능한 파라미터(Trainable Parameter) 수를 최소화
5초 미만의 시작 시간(Startup Time): 드라이버(Driver) 사전 설치로 인해 빠른 작업 시작(Fast Job Start) 가능
Gemma 3 Fine-tuning을 위한 Best Practice
Gemma 3 모델 Fine-tuning을 위한 몇 가지 Best Practice가 제시된다. 특히, 데이터셋(Dataset) 구성, 모델 로딩(Model Loading), 그리고 평가(Evaluation) 과정에서 효율성을 높이는 방법이 강조된다.
커스텀 데이터 콜레이터(Custom Data Collator): 이미지와 텍스트 토큰(Token)을 혼합 처리하는 VLM(Vision-Language Model)을 위해 정확한 학습(Accurate Learning)을 위한 데이터 구성
Breed Extraction: 모델의 응답에서 품종명을 정확하게 추출하기 위해 길이 기반 정렬(Length-based Sorting) 방식 적용
GCS 아카이빙(Archiving): 학습 완료 후 Fine-tuned LoRA 어댑터(Adapter)와 원본 모델 프로세서를 GCS에 자동 업로드하여 배포 준비(Deployment Readiness) 간소화
Cloud Run Jobs 생태계 및 통합
Cloud Run Jobs는 Gemma 3 Fine-tuning을 위한 강력한 생태계를 제공하며, 다양한 Google Cloud 서비스와 통합된다. 특히, GCS, Artifact Registry, Secret Manager 등과의 연동을 통해 안정적인 Fine-tuning 환경 구축을 지원한다.
GCS(Google Cloud Storage): 모델 가중치 저장 및 볼륨 마운트(Volume Mount)를 위한 고속 데이터 접근(High-speed Data Access) 제공
Artifact Registry: 컨테이너 이미지(Container Image) 저장 및 관리를 위한 CI/CD 파이프라인(CI/CD Pipeline) 통합
Secret Manager: Hugging Face Token과 같은 민감한 정보를 안전하게 관리하여 보안 강화(Security Enhancement)
