针对不断增长的AI市场，Nvidia发布新的双 GPU 产品

英伟达在其 GTC 100 年春季主题演讲中宣布了一款新的双 GPU 产品 H2023 NVL，针对不断增长的AI市场。根据Nvidia发布的信息和图像，H100 NVL（H100 NVLink）将在顶部安装三个NVLink连接器，两个相邻的卡插入单独的PCIe插槽。

这显然是为了适应不支持英伟达ssm选项的服务器，重点是推理性能而不是训练。NVLink连接应该有助于提供NVSwitch在ssm解决方案上所缺少的带宽，而且还有其他一些显著的区别。

以前的H100解决方案（SXM和PCIe）都配有80GB的HBM3内存，但实际的封装包含六个堆栈，每个堆栈都有16GB的内存。目前尚不清楚是一个堆栈被完全禁用，还是用于ECC或其他目的。我们所知道的是，H100 NVL每个GPU将配备94GB，HBM3总计将配备188GB。我们假设每个GPU“缺失”的2GB现在用于ECC。

功率略高于H100 PCIe，每个GPU的功率为350–400W（可配置），增加了50W。同时，总性能实际上是H100 SXM的两倍：FP64的134万亿次，TF32的1979万亿次，以及FP8的7916万亿次（以及INT8的791万亿次）。

基本上，这看起来与H100 PCIe的核心设计相同，它也支持NVLink，但现在可能启用了更多的GPU核心，内存增加了17.5%。内存带宽也比H100 PCIe高出一点，每个GPU为3.9 TB/s，总带宽为7.8 TB/s（而H100 PCIe为2 TB/s，H100 SXM为3.35 TB/s）。