EKS에서 NVIDIA OSMO로 Physical AI 워크플로를 효율적으로 운영하는 방법

워크플로가 요청한 GPU 리소스에 맞춰 Karpenter는 Amazon EC2 G family GPU 인스턴스를 동적으로 생성하고 회수함. NVIDIA GPU Operator는 Kubernetes에 GPU 리소스를 노출하고 DCGM 기반 GPU 텔레메트리를 제공하며, EKS NVIDIA AMI에 포함된 드라이버와 컨테이너 툴킷을 활용함. 특히, EFA(Elastic Fabric Adapter) 지원 G family 인스턴스에서는 분산 학습을 위한 네트워크 가속이 제공됨. 이를 통해 GPU 스케줄링의 효율성을 높이고, 사용하지 않는 노드는 자동으로 회수하여 비용을 최적화함.

NVIDIA OSMO 워크플로의 Kubernetes 스케줄링은 KAI Scheduler가 담당하며, PodGroup CRD와 gang scheduling 동작을 처리함. 워크플로 pod는 platform 설정에 따라 특정 GPU NodePool에 배치되고, GPU taint에 대응하는 toleration을 가짐. karpenter.sh/do-not-disrupt=true annotation은 장시간 실행되는 학습 pod가 Karpenter에 의해 중단되지 않도록 보호함. GPU 노드가 부족할 경우 Karpenter가 인스턴스를 프로비저닝하며, 노드 조인 후 GPU Operator가 리소스를 노출함. OSMO는 워크플로 제출 시점에 가용 리소스를 검증하며, prewarm pod를 통해 대상 platform capacity를 OSMO에 먼저 노출하는 방식을 사용함.

워크플로 실행 결과물인 아티팩트는 Amazon S3에 저장되며, 메타데이터, 이미지, 시크릿 등은 Amazon RDS, Amazon ElastiCache, Amazon ECR, AWS Secrets Manager와 같은 AWS 관리형 백엔드 서비스를 통해 보존됨. 보안 강화를 위해 모든 AWS 서비스 엔드포인트와 노드는 프라이빗 네트워크에 배치하고, 퍼블릭 액세스를 차단하며, 볼륨 암호화를 적용함. OSMO 워크플로의 입력과 출력 데이터셋은 명시적인 OSMO 데이터셋으로 관리되어, 특정 단계의 재실행이나 다른 데이터셋을 사용한 실험 반복이 용이함.

본 레퍼런스 아키텍처는 Amazon Managed Service for Prometheus와 Amazon Managed Grafana를 활용하여 NVIDIA OSMO 서비스, 워크플로 pod, GPU 메트릭을 수집하고 시각화함. GPU 메트릭은 NVIDIA DCGM exporter를 통해 수집되며, 대시보드는 GPU utilization, memory, power, temperature 등을 모니터링함. GPU 비용 관리를 위해 Karpenter의 자동 스케일링을 활용하고, 필요시 EC2 Capacity Reservation 또는 Capacity Blocks 사용을 고려함. 멀티 노드 분산 학습 시 EFA 사용을 위한 동일 AZ 배치 및 cluster placement group 활용이 권장됨.