AMD, AI 추론 비용 절감의 대안으로 부상

본문에서는 AMD MI355X가 NVIDIA Blackwell 대비 2.75배 저렴한 GPU 가격으로 유사한 하드웨어 사양을 제공한다고 주장합니다. 특정 워크로드에서 2626 tok/s/node의 총 처리량(Aggregate Throughput)을 달성하며, 이는 B200 성능의 80% 수준이지만 2배 이상의 비용 효율성을 제공한다고 강조합니다. 특히 GLM5.2 모델에서 213 tok/s의 단일 스트림 처리량을 달성하며 성능당 달러(Performance per Dollar) 측면에서 경쟁력을 입증했습니다. 이는 데이터 미저장 정책(Zero-Retention Policy)을 적용한 양자화(Quantization)와 최적화된 추론 엔진 사용 덕분입니다.

커뮤니티에서는 AMD의 소프트웨어 지원 부족이 실제 적용에 큰 걸림돌이 된다고 지적합니다. NVIDIA의 Day-0 지원과 달리, AMD ROCm 스택에서는 최신 모델에 대한 즉각적인 성능 최적화가 어렵고, 때로는 모델 실행 이미지조차 찾기 힘들다는 의견이 많습니다. 이로 인해 엔지니어링 및 컴퓨팅 자원 투입이 수 주 이상 소요될 수 있으며, 이는 모델 출시 속도를 따라잡기 어렵게 만듭니다. 데이터 격리 아키텍처(Data Isolation Architecture) 구축 시에도 이러한 소프트웨어 종속성이 문제가 될 수 있습니다.

일부 사용자들은 FP4 양자화(Quantization)가 실제 사용 시 손실이 발생하며, 모델의 기능이 저하될 수 있다고 우려합니다. FP8 대비 MXFP4에서 약간의 정확도 저하가 관찰되었다는 의견도 있습니다. 또한, 제시된 2600 tok/s 수치가 총 처리량(Aggregate Throughput)이며 실제 처리량(Actual Throughput)이 아닐 수 있다는 지적과 함께, 캐시 히트율(Cache Hit Rate) 60% 가정 및 양자화된 모델 사용이 실제 성능에 미치는 영향에 대한 추가적인 설명이 필요하다는 의견이 제기되었습니다.

본 분석이 단일 스트림 LLM 트래픽에 최적화되어 있어 실제 프로덕션 환경에서는 적용하기 어렵다는 비판이 있습니다. 이는 벤치마크 해킹(Benchmark Hacking) 사례로, 취미 사용자에게는 흥미로울 수 있으나 실제 서비스에는 부적합하다는 의견입니다. 또한, 성능 대비 전력 효율성(Performance per Watt) 지표가 누락되어 AMD의 전반적인 경쟁력을 평가하기 어렵다는 지적도 나왔습니다. NVIDIA GPU 공급 부족으로 인해 AMD가 대안으로 떠오를 수 있지만, 소프트웨어 지원 및 실제 적용 사례 부족이 여전히 과제로 남아있습니다.