Gemma4로 클라우드 없이 수화 통역, 59.1% 정확도 달성!
by DD
2개월 전
조회수 24
Gemma4 챌린지에 참여하여 웹캠 기반의 실시간 미국 수화(ASL) 통역기를 개발, 클라우드 API나 사전 훈련된 모델 없이 100% 로컬 환경에서 구동
MediaPipe를 활용하여 웹캠 영상에서 손(Hand) 감지 및 자르기(Cropping)를 수행, Gemma4 모델의 정확도(Accuracy) 향상
Gemma4 모델에 각 알파벳에 대한 구체적인 설명(Specific Description)과 혼동하기 쉬운 문자 쌍에 대한 명시적인 규칙(Explicit Rules)을 제공하여 정확도 개선
평가 파이프라인(Evaluation Pipeline) 구축: ASL 튜토리얼 영상에서 프레임을 추출, Gemma4의 정확도 측정, 59.1% 전체 정확도(Overall Accuracy) 달성
가장 어려운 문자(Hardest Letters)는 예상과 달랐으며, MediaPipe를 통한 이미지 전처리(Image Preprocessing)가 정확도 향상에 가장 큰 영향을 미침
Gemma4 모델과 MediaPipe의 역할 분담
본문에서 저자는 Gemma4 모델의 정확도 향상을 위해 MediaPipe를 활용하여 전처리 단계를 거쳤다. MediaPipe는 웹캠 프레임에서 하고, 손 부분만 잘라내어(Cropping) Gemma4 모델에 입력한다.
