구글, AI 성능 혁신을 위한 8세대 TPU 공개!
by DD
2개월 전
조회수 24
구글이 AI 모델 훈련(Training)과 추론(Inference)을 위한 8세대 TPU, TPU 8t와 8i를 발표함
TPU 8t는 대규모 모델 훈련(Massive Model Training)에 특화, TPU 8i는 저지연 추론(Low-Latency Inference)에 최적화됨
커뮤니티에서는 구글의 수직적 통합(Vertical Integration) 전략과 성능 향상에 대한 기대감을 표명함
일부에서는 구글의 모델 지원 정책(Model Deprecation Policy)과 가격 정책(Pricing Policy)에 대한 의문을 제기함
TPU 8t: 훈련 성능 극대화
TPU 8t는 대규모 모델 훈련(Massive Model Training)을 위해 설계되었으며, 이전 세대 대비 3배 향상된 컴퓨팅 성능을 제공한다. 특히, 9,600개의 칩과 2PB의 고대역폭 메모리(High Bandwidth Memory)를 갖춘 슈퍼포드(Superpod)는 121 ExaFlops의 연산 능력(Compute Power)을 지원한다. 또한, 10배 빠른 스토리지 접근 속도와 TPUDirect를 통해 데이터 접근 병목 현상을 해결하여 전반적인 시스템 활용률(System Utilization)을 극대화했다.
TPU 8i: 에이전트 시대의 추론 엔진
TPU 8i는 저지연 추론(Low-Latency Inference)을 위해 설계되었으며, 에이전트 간의 상호 작용에서 발생하는 지연 시간을 최소화한다. 이를 위해 288GB의 고대역폭 메모리(High Bandwidth Memory)와 384MB의 온칩 SRAM을 탑재하여 을 해결했다. 또한, Axion Arm 기반 CPU를 사용하여 시스템 성능을 최적화하고, 온칩 Collectives Acceleration Engine(CAE)을 통해 의 지연 시간을 최대 5배까지 줄였다.
