AI 인프라, GPU 구매가 전부가 아니다? NHN FactoryX 기술 백서 공개

최신 AI GPU의 급증하는 전력 밀도(Power Density)는 공랭식 냉각 방식의 한계를 명확히 드러낸다. 랙당 30kW를 초과하는 열 부하를 감당하기 어려워 성능 저하(Performance Degradation)를 유발하며, 이는 GPU 연산 능력의 잠재력을 온전히 활용하지 못하게 한다. NHN FactoryX는 이러한 구조적 문제를 해결하기 위해 D2C 수랭식 냉각(Direct-to-Chip Liquid Cooling)을 도입했다. ASHRAE 등급 기준과 CFD 시뮬레이션 연구를 바탕으로 벤더 호환성, 인터페이스 표준화, 운전 파라미터, 확장성, 수질 관리 등 다섯 가지 핵심 요건을 검증했으며, 이를 통해 PUE 1.15 이하를 달성하여 냉각 에너지 효율(Cooling Energy Efficiency)을 연간 30~40% 절감하는 성과를 거두었다.

기존의 고정 배정 방식은 GPU 활용률(GPU Utilization Rate)을 한 자릿수에서 30%대로 낮추는 문제를 야기했다. NHN FactoryX는 이를 해결하기 위해 자체 스케줄러 대신 Kubernetes 표준 생태계 컴포넌트 위에 운영 정책을 통합하는 GPU Live를 설계했다. 이는 GPU 드라이버 업데이트나 NPU 같은 이종 가속기 통합에 유연성을 제공한다. 3계층 멀티테넌시(System → Organization → Project)로 자원·정책·권한을 격리하고, GPU Best-fit 빈패킹(Best-fit Bin Packing)으로 단편화를 최소화하며, 쿼터·오버부킹·자동 회수를 결합하여 활용률을 극대화한다. 학습 워크로드는 Gang Scheduling, 추론 워크로드는 인스턴스 단위 장애 복구로 다양한 워크로드의 안정적인 동시 운영을 지원한다.

베어메탈 방식은 하드웨어 성능을 최대한 활용할 수 있지만, 테넌트 간 보안 격리(Tenant Security Isolation) 미흡과 일관된 운영 정책 적용의 어려움이 존재한다. NHN FactoryX는 이러한 한계를 극복하고자 GPU 인프라 상위에 GPUaaS(GPU as a Service) 플랫폼을 구축했다. 테넌트·워크스페이스·프로젝트로 이어지는 계층적 구조는 자원 및 보안 통제(Resource and Security Control)를 일관되게 적용하며, 대규모 학습으로 인한 자원 급증 시에도 다른 기관에 영향을 주지 않는 독립된 워크스페이스 운영을 가능하게 한다. 255노드 규모 HPL 벤치마크에서 베어메탈과 동등한 수준의 네트워크 성능을 확인하여, 컨테이너 환경에서도 최상의 성능 유지를 입증했다.

AI 인프라 구축은 단순히 GPU 하드웨어를 구매하는 것을 넘어, 물리적 공간 설계, 전력 및 냉각 효율 최적화, 초고속 네트워크 튜닝, 소프트웨어 정의 관리 플랫폼까지 모든 요소가 유기적으로 통합되어야 하는 복잡한 과정이다. NHN FactoryX는 수랭식 데이터 센터, GPU 클러스터, GPUaaS 플랫폼, AI 개발 플랫폼을 3개 레이어로 통합 제공하며 이러한 풀스택 접근 방식을 구현했다. 이를 통해 멀티테넌트 공유 환경과 기업 프라이빗 전용 환경을 모두 지원하고, 957개 GPU 노드 규모에서 베어메탈 동등 성능과 조직 간 보안 격리를 동시에 달성하는 기술적 과제를 해결했다.

AI 인프라 설계는 GPU 세대 전환에 따른 전력 밀도 증가, Kubernetes DRA와 같은 자원 관리 표준의 진화, NPU 등 이종 가속기(Heterogeneous Accelerators)의 등장으로 지속적인 변화를 맞이하고 있다. NHN FactoryX는 이러한 미래 변화에 대비하여 차세대 GPU 플랫폼과의 상위 호환성을 전제로 수랭식 인프라를 설계했으며, GPU Live의 동적 할당 모델을 이종 가속기로 확장하기 위한 기술 검토를 진행 중이다. 이는 지속 가능한 AI 인프라 구축(Sustainable AI Infrastructure)을 위한 NHN Cloud의 장기적인 비전을 보여준다.