버즈빌, ML 플랫폼 Buzzflow로 MLOps 환경을 혁신하다!
by DD
2년 전
조회수 4
Sagemaker Pipeline 사용의 불편함을 개선하기 위해 YAML 기반 파이프라인을 구축하고, SDK 래핑을 통해 사용성을 향상시킴
MLFlow로 모델 저장소를 통합하고, 로컬 모드를 지원하여 개발 환경을 개선하여 개발 생산성 향상을 이룸
프로덕션/리서치 환경 분리, CI/CD 구축을 통해 모델 배포 안정성을 확보하고, 모니터링 시스템을 구축함
YAML 기반 파이프라인 설계
buzzflow는 Sagemaker Pipeline SDK의 복잡성을 해결하기 위해 YAML을 활용하여 파이프라인을 정의한다. 구체적으로, OmegaConf를 사용하여 YAML 파싱 및 변수 Interpolation 기능을 제공한다. 따라서, 파이프라인 코드 중복 감소와 유지보수성 향상을 달성했다.
로컬 환경에서의 파이프라인 디버깅
Sagemaker Pipeline의 느린 피드백 루프 문제를 해결하기 위해 를 제공한다. 를 활용하여 로컬에서 파이프라인을 실행하고, 와 를 통해 리소스 사용량을 모니터링한다. 결과적으로, 과 을 동시에 달성했다.
