Mac Studio, Thunderbolt 5로 초고속 VRAM 클러스터 구축!
Mac Studio를 Thunderbolt 5를 통해 연결하여 최대 1.5TB의 VRAM을 활용하는 클러스터 구축 시도에 대한 내용임
RDMA 기술을 통해 GPU 간 데이터 전송 속도를 향상시키려 했으나, 이더넷과의 성능 차이가 크지 않다는 분석이 나옴
커뮤니티에서는 Thunderbolt 5의 제한적인 확장성, 원격 관리 부재, 그리고 애플의 서버 전략에 대한 의문을 제기함
RDMA 기술과 Thunderbolt 5의 활용
RDMA (Remote Direct Memory Access) 기술은 네트워크를 통해 메모리 간 직접 접근을 가능하게 하여 데이터 전송 속도를 획기적으로 향상시킨다. 구체적으로, Thunderbolt 5를 통해 여러 Mac Studio를 연결하여 GPU 메모리 풀을 구성, 대규모 AI 모델 학습 및 추론에 활용하고자 했다. 따라서, 고대역폭을 활용하여 분산 처리 시스템의 성능을 개선하려는 시도였다.
성능 비교 및 확장성 문제
Thunderbolt 5를 사용한 RDMA 방식은 2.5Gbps 이더넷에 비해 미미한 성능 향상을 보였다. 반면, 10Gbps 이더넷을 사용했다면 더 나은 결과를 얻었을 가능성이 제기되었다. 결과적으로, Thunderbolt 5의 4대 제한은 확장성 측면에서 큰 단점으로 지적되었으며, QSFP와 같은 더 나은 대안의 필요성이 강조되었다. 또한, 원격 관리 부재는 서버 환경에서 큰 단점으로 작용한다.
AI 모델 학습 및 추론 환경 구축
대규모 AI 모델을 위한 분산 학습 환경 구축 시, 노드 간 통신 속도는 전체 성능에 큰 영향을 미친다. 구체적으로, DeepSeek V3.1과 같은 대형 모델의 경우, 메모리 용량 부족으로 인해 여러 노드에 분산하여 학습해야 한다. 따라서, RDMA를 활용한 GPU 클러스터 구축은 학습 시간 단축 및 자원 효율성을 높이는 데 기여할 수 있다. 하지만, 네트워크 병목 현상을 해결하기 위한 추가적인 최적화가 필요하다.
