NVIDIA Omniverse, On-prem K8S 클러스터 구축 시작!
NVIDIA Omniverse 기반 디지털 트윈 플랫폼 구축을 위해 Kubernetes 클러스터를 Baremetal 환경에 설치
Containerd, Kubeadm, Calico를 활용하여 GPU 스트리밍 환경 구축 및 네트워크 설정
Ubuntu 22.04 LTS 환경에서 L40S GPU 서버에 K8S 클러스터 설치 완료
Baremetal K8S 아키텍처 설계
On-prem 환경의 L40S GPU 서버에서 Kubernetes 클러스터를 구축하기 위해, 불필요한 추상화를 최소화하는 Baremetal 아키텍처를 선택했다. 구체적으로 Containerd를 런타임으로, Kubeadm을 클러스터 부트스트랩 도구로 활용하여 직접 제어 가능한 구조를 구현했다. 따라서 GPU 자원 관리 및 네트워크 설정에 대한 유연성을 확보했다.
Calico CNI 선택의 이유
GPU 스트리밍 환경에서 안정적인 네트워크 성능과 Pod 간 통신 제어가 중요하기 때문에, Calico CNI를 선택했다. L3 네트워킹, NetworkPolicy, eBPF 모드를 지원하여 성능과 보안을 모두 확보했다. 반면, Air-gap 환경에서도 독립적으로 설치 가능하여 폐쇄망 환경에 적합하다는 장점이 있다.
Kubeadm init 과정 상세 분석
Kubeadm init 명령어는 Kubernetes 클러스터 설치의 핵심이다. --pod-network-cidr 옵션으로 Calico 네트워크 IP 대역을 설정하고, --control-plane-endpoint로 API 서버 접근 주소를 지정한다. 따라서, --apiserver-cert-extra-sans 옵션을 통해 API 서버의 TLS 인증서에 추가 정보를 포함시켜야 한다.
