AWS EFA 환경에서 NCCL을 활용한 분산 학습 성능 최적화
by DD
2개월 전
조회수 12
분산 학습(Distributed Training)을 위해 다수의 GPU 간 효율적인 통신이 필수적이며, NCCL(NVIDIA Collective Communications Library)이 핵심 역할을 수행함
AWS EFA(Elastic Fabric Adapter)는 고속 네트워크 인프라를 제공하며, aws-ofi-nccl 플러그인을 통해 NCCL과 통합됨
NCCL은 하드웨어 토폴로지를 자동 감지하고, 데이터 크기에 따라 최적의 통신 알고리즘(Ring, Tree)을 선택하여 성능을 극대화함
GPUDirect RDMA를 통해 CPU와 시스템 메모리 오버헤드를 줄여 GPU 간 직접 데이터 전송을 지원함
MoE(Mixture-of-Experts) 모델과 같은 비대칭 통신 패턴에서는 NCCL의 한계가 존재하며, GPUDirect Async, NVSHMEM, PPLX-kernels과 같은 기술이 대안으로 제시됨
분산 학습 환경에서의 GPU 간 통신 필요성
대규모 딥러닝 모델 학습에는 수십, 수백 개의 GPU를 활용하는 분산 학습(Distributed Training)이 필수적이다. 각 GPU는 데이터의 일부 또는 모델의 일부를 처리하며, 학습 과정에서 지속적인 정보 교환이 필요하다. 데이터 병렬 학습에서는 각 GPU가 그래디언트(Gradient)를 계산한 후, 모든 GPU에 동기화하여 일관된 모델 업데이트를 수행한다. 이 동기화 과정의 효율성이 전체 학습 성능을 좌우하며, GPU 간 통신 병목(Communication Bottleneck)은 학습 시간을 크게 증가시킬 수 있다. 따라서 고성능 GPU 간 통신 라이브러리가 분산 학습의 성패를 결정하는 핵심 요소가 된다.
