Kurly, Kubeflow로 MLOps 환경 구축!
by DD
3년 전
조회수 2
데이터 사이언티스트를 위한 추상화된 MLOps 환경 구축을 위해 Kubeflow를 도입함
Elyra를 활용하여 KFP DAG를 쉽게 생성하고, S3를 기본 저장소로 변경함
SealedSecrets와 pre-commit 훅을 통해 Secret 관리 및 보안을 강화함
Elyra를 활용한 KFP DAG 생성
데이터 사이언티스트의 KFP DAG 생성 편의성을 위해 Elyra를 도입했다. 구체적으로 Elyra를 통해 주피터랩 UI에서 파이썬 파일 및 노트북 파일을 KFP DAG로 변환한다. 따라서 데이터 사이언티스트는 KFP 문법을 익힐 필요 없이, 직관적인 환경에서 ML 워크플로우를 구축할 수 있다.
S3를 활용한 KFP 아티팩트 저장소 변경
쿠브플로우의 기본 MinIO 대신 S3를 아티팩트 저장소로 변경했다. S3는 확장성과 접근성 측면에서 유리하며, IRSA를 통해 S3 접근 권한을 안전하게 관리한다. 따라서 데이터 처리량 증가에 유연하게 대응하고, 보안을 강화하여 MLOps 환경을 개선했다.
SealedSecrets를 이용한 Secret 관리
운영 환경에서 Secret 관리를 위해 SealedSecrets를 도입했다. SealedSecrets는 Secret을 암호화하여 Git 레포지토리에 안전하게 저장할 수 있도록 돕는다. 따라서 Dex 설정과 같은 민감 정보 유출 위험을 줄이고, GitOps 기반의 배포 자동화를 안전하게 구축하여 보안을 강화했다.
