NVIDIA 发表 HGX-2 萬億次 AI 服务器与 T4 推理 GPU：全面确立全球資料中心深度学習基礎设施

2018 年 9 月，隨著全球科技巨头展开以深度学習为核心的云端軍備競賽，NVIDIA 在華盛頓与各国 GTC 大会上連續重磅发表了兩款徹底改变資料中心生态的关鍵產品 —— 被譽为云端运算怪獸的 NVIDIA HGX-2 人工智能服务器主机板平台，以及专为超大规模云端即时推理量身打造的 NVIDIA Tesla T4 GPU。这項雙管齊下的戰略布局，让 NVIDIA 牢牢鎖定了全球超大规模資料中心（Hyperscalers）从「模型訓練」到「即时推论」的全端算力入口。

HGX-2：首创 16 顆 GPU 完全互聯的 2 PFLOPS 算力巨獸

为了解決数千億參数巨型神经网絡（如早期 BERT 模型与超大型推薦系统）無法被塞入单一服务器的架構难题，NVIDIA 推出了工程奇蹟 HGX-2：

1. 16 顆 Tesla V100 滿血集結： 整套系统板卡整合了 16 顆 Tesla V100 32GB GPU，搭載半精度 Tensor Core 运算矩陣，提供高達 2 PFLOPS（每秒兩千萬億次浮点运算） 的深度学習澎湃算力，並坐擁 512GB 的超高速 HBM2 共享内存池。
2. 革命性 NVSwitch 芯片打造全互聯交叉网絡： HGX-2 首度导入了 12 顆客製化 NVSwitch 高速路由交換芯片。透過 NVSwitch，16 顆 GPU 中的任何一顆都能以每秒 300 GB/s 的全速雙向頻寬与其餘 15 顆 GPU 直接通讯，整机聚合雙向頻寬達到驚人的 2.4 TB/s！这徹底打破了以往服务器內跨 PCIe 匯流排通讯时劇烈的延遲瓶頸。
3. 大幅取代数百台傳统 CPU 服务器： 在 ResNet-50 图像訓練测试中，单台 HGX-2 系统的訓練速度超越了 300 台由雙路 Intel Xeon CPU 组成的傳统服务器集群，同时將資料中心佔地面積縮減至 1/8、电力消耗削減至 1/5。

Tesla T4：70W 超低功耗的萬能云端推论引擎

在云端服務的另一端 —— 即时推论（Inference），NVIDIA 推出了具備極高能效比的 Tesla T4 GPU：

• 基於 12nm Turing 架構，具備 2560 个 CUDA 核心与 320 个 Turing Tensor Core。
• 在僅有 70 瓦（PCIe 半高单槽规格） 的極致散熱规格下，輸出 130 TOPS 的 INT8 矩陣算力与 260 TOPS 的 INT4 算力。
• 专门針对語音辨識、自然語言处理、影像搜尋与智慧推薦系统进行全方位优化，迅速成为微軟 Azure、Google Cloud 与阿里巴巴等全球云端巨头部署量最大的 AI 推论硬件。

历史回顧：奠定百萬卡算力中心的大一统标準

HGX-2 与 Tesla T4 的成功，向全世界证明了「資料中心已经是新型态的计算单元」。透過 NVSwitch 打通節点內多卡直連，配合高能效推理矩陣，NVIDIA 不僅將全球云端服務商深度綁定在 CUDA 生态之中，更为数年後支撐 ChatGPT、生成式 AI 大模型所需的萬卡集群架構，奠定了無可撼动的軟硬件工業标準。