英伟达推出液冷 A100 GPU,“掌上服务器”生产模块即将开售
5 月 24 日报道,在 2022 年台北国际计算机展(Computex)上,英伟达揭露推出液冷 A100 PCIe GPU,以满足客户对高机能碳中和数据中间的需要。这在合流服无器 GPU 中尚属首例。

同时,英伟达揭露多家当先厂家接纳环球首批基于英伟达自研数据中间 CPU 的体系计划,并有 30 多家环球技术同盟同伴在 Computex 上公布首批基于英伟达 Jetson AGX Orin 的边沿 AI 与嵌入式计较体系。
目前英伟达正缠绕 CPU、GPU、DPU 这数据中间三大芯片支柱所有开展,以辅助其同盟同伴构建实现新一波数据中间转型、构建当代 AI 厂家。此中,CPU 经管全部体系的运转,GPU 负责供应焦点计较才气,DPU 负责处分安全的网页通讯并供应网页内置计较才气以优化整体机能。

英伟达硬件工程超级副总裁 Brian Kelleher 吐露说,英伟达将每种芯片架构的更新节拍设定为两年,一年将专一于 x86 平台,一年将专一于 Arm 平台,无论客户与环境趋势偏好怎样,英伟达体系架谈判平台都将支撑 x86 和 Arm。
英伟达加快计较业务副总裁 Ian Buck 谈道,若世界上全部的 AI、高机能计较、数据剖析工作负载都在 GPU 服无器上运转,英伟达预估每一年可节减超过 12 万亿瓦时的电力,相配于每一年削减 200 万辆汽车上路。
一、液冷 GPU:一致机能、更少耗电
液冷技术降生于大型机期间,在 AI 期间日臻成熟。现在,液冷技术曾经以干脆芯片(Direct-to-Chip)冷却的形式宽泛应用于环球高速超级计较机。英伟达 GPU 在 AI 推理和高机能计较方面的能效已比 CPU 凌驾 20 倍,而加快计较也瓜熟蒂落地将接纳液冷技术。
英伟达预算,若将环球全部运转 AI 和高机能计较的 CPU 服无器切换为 GPU 加快体系,每一年可节减高达 11 万亿瓦时的动力。勤俭的动力量可供 150 多万套房屋应用 1 年。
本日,英伟达公布了领先接纳干脆芯片冷却技术的数据中间 PCIe GPU。这款液冷 GPU 可在削减能耗的同时保持机能固定,现已进入试用阶段,估计将于今年夏日正式公布。

旗下经管超过 240 个数据中间的环球服无供应商 Equinix 已在考证 A100 80GB PCIe 液冷 GPU 在其数据中间的应用,这也是该公司为实现可持续性冷却和热量捕捉的概括性计划中的一片面。
在独自的测试中,Equinix 和英伟达均发现:接纳液冷技术的数据中间工作负载可与风冷办法持平,同时花消的动力削减了大概 30%。英伟达估计,液冷数据中间的 PUE 可能到达 1.15,远低于风冷的 PUE 1.6。

在空间相像的前提下,液冷数据中间可实现双倍的计较量。这是因为 A100 GPU 仅应用一个 PCIe 插槽,而风冷 A100 GPU 需应用两个 PCIe 插槽。
今年晚些时候,华硕、新华三、海潮、宁畅、超微、超聚变等起码十几家体系生产商将在其产品中应用液冷 GPU。
据悉,英伟达决策于来岁推出的一版 A100 PCIe 卡中搭载基于 NVIDIA Hopper 架构的 H100 Tensor Core GPU。近期内,英伟达决策将液冷技术应用于自有高机能数据中间 GPU 和 NVIDIA HGX 平台。
二、数十款基于 NVIDIA Grace CPU 的服无器将于来岁出货
Grace 是英伟达首款数据中间 CPU,专为 AI 工作负载而打造。该芯片希望在来岁出货,将供应两种外形规格。

上图左侧 Grace-Hopper 是一种旨在加快大型 AI、高机能计较、云和超大范围工作负载的单纯超级芯片模组,在 Grace CPU 和 Hopper GPU 之间实现了芯片级直连,CPU 与 GPU 通过带宽可高达 900GB / s 的互连技术 NVLink-C2C 举行通讯。
Brian Kelleher 说,Grace 将以比任何其余 CPU 快 15 倍的速率,将数据传输到 Hopper,并将 Hopper 的工作数据大小增至 2TB。
同时,英伟达还供应将两个 Grace CPU 芯片通过 NVLink-C2C 互连在一路的 Grace 超级芯片。Grace 超级芯片领有 144 个高机能 Armv9 CPU 焦点,内存带宽高达 1TB / s,能效是现有服无器的 2 倍。包含 1TB 内存在内的全部模组,功耗仅为 500W。
除了 NVLink-C2C 外,英伟达英伟达亦支撑今年早些时候公布、仍在开展美满的 chiplet 规范 UCIe。

本日,英伟达公布 4 种面向规范数据中间工作负载的 Grace 参考计划:
紧接着,英伟达揭露推出 HGX Grace 和 HGX Grace Hopper 体系,将供应 Grace Hopper 和 Grace CPU 超级芯片模组及其响应的 PCB 参考计划。两者均为 OEM 2U 高密度服无器机箱而计划,可供 NVIDIA 同盟同伴参考与点窜。

华硕、富士康工业互联网、GIGABYTE、QCT、Supermicro 和 Wiwynn 的数十款服无器型号的 Grace 体系估计将于 2023 年上半年首先发货。
三、首批 Jetson AGX Orin 服无器和装备公布
英伟达 Isaac 机械人平台有 4 个支柱:一是建立 AI;二是在虚拟世界中仿真机械人的操纵,而后在现实世界中举行测试;三是构建实体机械人;四是经管已布置机械人部队的全部性命周期。
在构建现实世界的实体机械人并举行布置方面,英伟达 Jetson 已成为适合于边沿和机械人的 AI 平台,领有超过 100 万开发者、超过 150 个同盟同伴,超过 6000 家公司应用 Jetson 用于量产。
Jetson AGX Orin 接纳英伟达 Ampere Tensor Core GPU、12 个 Arm Cortex-A78AE CPU、下一代深度借鉴和视觉加快器、高速接口、更快的内存带宽、多模态传感器,可供应每秒 275 万亿次运算机能,相配于一台“掌上服无器”。
在针脚兼容性与外形尺寸相像的环境下,其处分才气超过前代产品英伟达 AGX Xavier 8 倍。
Jetson AGX Orin 开发者套件自 3 月首先已通过代理商在环球出售,生产模块将于 7 月首先出售,起售价为 399 美元。Orin NX 模块尺寸仅为 70 毫米 x45 毫米,将于 9 月上市。
面向边沿 AI 和嵌入式计较应用,研扬、凌华、研华等环球 30 多家英伟达同盟同伴在 Computex 上公布了首批基于英伟达 Jetson AGX Orin 的生产体系,笼盖服无器、边沿装备、工业 PC、载板、AI 应用等品类。

这些产品将推出有电扇和无电扇配置而且供应多种持续和接口选项,并会加入适合于机械人、生产、零售、运输、伶俐城市、医疗等紧张经济部分或加固型应用的规格。
为了加快 AMR 的开发,英伟达还推出用于 AMR 的优秀计较和传感器参考计划 Isaac Nova Orin。
Nova Orin 由 2 个 Jetson AGX Orin 构成,支撑 2 个立体录像头、4 个广角录像头、2 个 2D 激光雷达、1 个 3D 激光雷达、8 个超声波传感器等多种传感器,参考架构将于今年晚些时候推出。

Jetson 平台也领有全方位的英伟达应用支撑。为了满足特定用例的需要,英伟达应用平台加入了:用于机械人技术的 NVIDIA Isaac Sim on Omniverse,用于构建语音 AI 应用的 GPU 加快 SDK Riva,用于 AI 多传感器处分、视频、音频和图像明白的串流剖析对象包 DeepStream,以及通过整合视觉数据与 AI 进步行业运营服从和安全的应用框架、开发者对象组与同盟同伴生态体系 Metropolis。