AWS MLOps 워크숍 후기: SageMaker로 분산학습, MLOps 구축 경험 공유!
by DD
3년 전
조회수 4
AWS MLOps 분산학습 워크숍에서 SageMaker를 활용한 MLOps 구축 사례를 공유
분산학습 트렌드 및 Data Parallelism, Model Parallelism 등 기술 소개
SageMaker Studio를 활용한 GPT-2 모델 실습 및 MLOps 기능 체험
SageMaker MLOps 기능 심층 분석
SageMaker는 ETL tool, Feature Store, Model Registry, Model Artifact, Deployment, Model Monitoring, Model Orchestration 등 다양한 MLOps 기능을 제공한다. 따라서 Data Clarify와 Model Monitor를 통해 Data drift를 감지하고, 모델 재학습을 자동화할 수 있다.
분산학습의 두 가지 접근 방식
분산학습은 Data Parallelism과 Model Parallelism 두 가지 방식으로 나뉜다. Data Parallelism은 데이터 분할, Model Parallelism은 모델 분할을 통해 학습 속도를 향상시킨다. Traininium 칩을 활용하여 분산학습 성능을 개선한다.
SageMaker를 활용한 분산학습 실전 가이드
SageMaker Studio를 활용하여 GPT-2 모델을 실습하고, Cloud Watch를 통해 로그를 확인할 수 있다. Ephemeral Training 클러스터와 관리형 Spot Instance를 활용하여 학습 비용 절감을 시도할 수 있으며, 데이터 크기에 따라 FSx Luster를 선택한다.
