버즈빌, ML 플랫폼 Buzzflow로 MLOps 환경을 혁신하다!
by DD
2년 전
조회수 4
Sagemaker Pipeline 사용의 불편함을 개선하기 위해 YAML 기반 파이프라인을 구축하고, SDK 래핑을 통해 사용성을 향상시킴
MLFlow로 모델 저장소를 통합하고, 로컬 모드를 지원하여 개발 환경을 개선하여 개발 생산성 향상을 이룸
프로덕션/리서치 환경 분리, CI/CD 구축을 통해 모델 배포 안정성을 확보하고, 모니터링 시스템을 구축함
YAML 기반 파이프라인 설계
buzzflow는 Sagemaker Pipeline SDK의 복잡성을 해결하기 위해 YAML을 활용하여 파이프라인을 정의한다. 구체적으로, OmegaConf를 사용하여 YAML 파싱 및 변수 Interpolation 기능을 제공한다. 따라서, 파이프라인 코드 중복 감소와 유지보수성 향상을 달성했다.
로컬 환경에서의 파이프라인 디버깅
Sagemaker Pipeline의 느린 피드백 루프 문제를 해결하기 위해 로컬 모드를 제공한다. Docker를 활용하여 로컬에서 파이프라인을 실행하고, Prometheus와 cAdvisor를 통해 리소스 사용량을 모니터링한다. 결과적으로, 개발 생산성 향상과 인스턴스 비용 절감을 동시에 달성했다.
프로덕션 환경을 위한 안정성 확보
buzzflow는 프로덕션/리서치 환경 분리를 통해 모델의 안정성을 확보한다. Github Actions 기반의 CI/CD 파이프라인을 구축하여 코드 변경 시 자동 배포를 지원한다. 따라서, 모델 배포 자동화와 데이터 무결성을 보장하며, 서비스 안정성을 높였다.
