MedGemma 미세 조정으로 유방암 이미지 분류 정확도 99% 달성!

대형 모델 미세 조정 시 bfloat16 사용은 필수적이다. float16은 작은 수치 범위로 인해 NaN 문제를 발생시킬 수 있다. 따라서 bfloat16의 넓은 범위를 통해 수치적 오버플로우를 방지하고, 훈련 과정의 안정성을 확보해야 한다.

LoRA는 기존 모델 가중치를 고정하고, 작은 어댑터 가중치만 훈련하는 기법이다. r=8의 LoRA 랭크와 lora_alpha=16 설정을 통해 모델 파라미터 수를 줄여 훈련 속도를 높였다. 결과적으로 메모리 사용량 감소와 훈련 시간 단축을 동시에 달성했다.

Vertex AI Workbench를 사용하여 GPU 환경에서 모델을 훈련하고, Cloud Run을 통해 확장 가능한 배포 환경을 구축할 수 있다. 구체적으로, Hugging Face의 SFTTrainer를 활용하여 훈련 과정을 간소화하고, Secret Manager를 통해 보안을 강화한다.