Amazon SageMaker HyperPod로 ZERO 모델 학습, 비용 절감과 성능 향상!

데이터 선별: 10억 장의 원시 데이터 중, 산업 현장에 의미 있는 400만 장의 고품질 데이터(High-quality Data)를 선별하여 ZERO 모델 학습에 활용

Arrow 파일 형식: Hugging Face Datasets 라이브러리가 지원하는 Arrow 파일 기반 데이터셋 포맷(Arrow File-based Dataset Format)을 사용하여 데이터셋을 1G 단위의 샤드로 분할, 데이터 로딩 속도(Data Loading Speed) 향상

S3 sync 명령어: AWS CLI v2의 s3 sync 명령어를 사용하여 S3에 데이터를 업로드, 네트워크 대역폭(Network Bandwidth)을 최대한 활용

Training Plan 예약: 고성능 네트워크로 연결된 대형 클러스터 사용을 예약, 학습 기간(Training Period) 확보

리허설 단계: 저렴한 GPU 인스턴스를 활용하여 학습 파라미터 튜닝 및 데이터 무결성 검증, 학습 중단(Training Halt) 방지

인스턴스 교체: 리허설 인스턴스 제거 후, Training Plan으로 예약한 고성능 GPU 클러스터로 전환, 학습 시간(Training Time) 단축

FSx for Lustre: 고성능 파일 시스템(High-performance File System)을 사용하여 데이터 처리량(Throughput) 극대화

데이터 사전 로드: 리허설 단계에서 FSx에 데이터를 미리 로드하여, 본 학습 시 데이터 로딩 시간을 단축

S3 데이터 매핑: S3 버킷의 데이터를 FSx 내 특정 경로에 매핑하여, 데이터 접근 편의성(Data Access Convenience) 향상

비용 절감: 저렴한 인스턴스를 활용한 리허설(Rehearsal)을 통해, 고성능 인스턴스 유휴 시간(Idle Time) 최소화

학습 시간 단축: S3에서 FSx로의 데이터 사전 로드(Pre-loading)를 통해, 데이터 로딩 시간(Data Loading Time) 절약

개발 생산성 향상: 리허설을 통해 치명적인 트레이닝 스크립트 버그(Training Script Bug)를 사전에 파악하고 수정