엔비디아, 낸드 가격 폭등 주도? ICMS의 비밀!
엔비디아(NVIDIA)는 ICMS(Inference Context Memory Storage) 플랫폼을 발표하며, 낸드 플래시(NAND Flash) 수요 급증을 예고함
블루필드 4(BlueField 4) DPU를 기반으로 KV 캐시(Key-Value Cache)를 위한 대용량 스토리지(Large Capacity Storage)를 구축
HBM(High Bandwidth Memory)의 한계를 보완하기 위해 HBF(High Bandwidth Flash) 기술의 조기 상용화 가능성을 제시
베라 루빈(Vera Rubin) 플랫폼을 중심으로 CPU, GPU, DPU, 스위치 등 다양한 칩 간의 연결 방식 설명
ICMS(Inference Context Memory Storage)의 등장 배경
발표자는 엔비디아(NVIDIA)가 ICMS(Inference Context Memory Storage)라는 새로운 플랫폼을 제시하며, 이는 인퍼런스(Inference)를 위한 컨텍스트 메모리(Context Memory)를 스토리지(Storage)에 저장하는 구조라고 설명한다. 기존에는 HBM에 저장하던 KV 캐시(Key-Value Cache)를 낸드 플래시 기반의 스토리지로 옮겨, HBM의 용량 부족 문제를 해결하려는 시도로 분석된다. 특히 블루필드 4(BlueField 4) DPU를 활용하여 이 기능을 구현한다.
낸드 플래시(NAND Flash) 가격 폭등의 원인
영상에 따르면, 엔비디아(NVIDIA)의 ICMS(Inference Context Memory Storage) 도입으로 인해 낸드 플래시(NAND Flash)의 수요가 급증할 것으로 예상된다. 블루필드 4(BlueField 4) DPU가 KV 캐시(Key-Value Cache)를 위한 대용량 스토리지를 필요로 하기 때문이다. 발표자는 이러한 변화가 엔터프라이즈 SSD(Enterprise SSD) 시장에 큰 영향을 미칠 것이라고 전망하며, 낸드 플래시 가격 상승을 예측한다.
HBF(High Bandwidth Flash)의 조기 상용화 가능성
발표자는 HBM(High Bandwidth Memory)의 한계를 보완하기 위해 HBF(High Bandwidth Flash) 기술의 중요성을 강조한다. HBF는 낸드 플래시(NAND Flash)를 HBM처럼 활용하는 기술로, 낸드 칩을 적층하여 HBM과 유사한 성능을 내는 것을 목표로 한다. 발표자는 HBF가 2~3년 내에 상용화될 가능성이 높다고 언급하며, 이는 낸드 플래시 시장의 새로운 경쟁 구도를 형성할 수 있음을 시사한다.
베라 루빈(Vera Rubin) 플랫폼의 칩 연결 구조
영상에서는 엔비디아(NVIDIA)의 베라 루빈(Vera Rubin) 플랫폼을 중심으로 CPU, GPU, DPU, 스위치 등 다양한 칩 간의 연결 방식을 설명한다. CPU와 GPU는 LPDDR5, HBM4를 사용하고, GPU 간에는 NVLink, 6세대 NVLink 스위치를 통해 연결된다. 또한, 블루필드 4(BlueField 4) DPU는 이더넷을 통해 다른 랙과 통신하며, 이러한 복잡한 구조는 고성능 컴퓨팅을 위한 엔비디아(NVIDIA)의 전략을 보여준다.
