英伟达针对 AI 市场推出双 GPU 产品 H100 NVL,至上使用 188GB HBM3 显存

3 月 22 日音讯,英伟达正在 GTC Spring 2023 主题演讲中,针对不时增加的 AI 市场,推出了齐新的单 GPU 产物 H100 NVL。H100 NVL 正在顶部装备了 3 个 NVLink 衔接器,运用两个相邻的 PCIe 隐卡插槽。

英伟达暗示正在运转年夜型言语模子(LLM)时,惯例隐卡的隐存没法操作把持宏大的数据流。因而本次推出的 H100 NVL 极下能够供给 188GB HBM3 隐存,单卡隐存容量 94GB。

H100 NVL 的功耗略下于 H100 PCIe,每一个 GPU 为 350-400 瓦(可设置),添加了 50W。中文国际从报导中得悉,总功能实践上是 H100 SXM 的两倍:FP64 为 134 teraflops,TF32 为 1979 teraflops,FP8 为 7916 teraflops,INT8 为 7916 teraops。

内存带宽也比 H100 PCIe 下许多,每一个 GPU 为 3.9 TB / s,总战为 7.8 TB / s(H100 PCIe 为 2 TB / s,H100 SXM 为 3.35 TB / s)。

您可能还会对下面的文章感兴趣: