NVIDIA 發表 Blackwell 架構與 GB200 NVL72：萬億級參數大模型運算怪獸與黃仁勳的算力巨浪

2024 年 3 月 18 日，在美國加州聖荷西 SAP 巨蛋體育館超過 1.8 萬名科技領袖與全球開發者的震耳歡呼聲中，NVIDIA 執行長黃仁勳登台發表了被譽為人類計算史上最強大的矽晶巨獸 —— 次世代加速計算架構 Blackwell，以及基於該架構的 NVIDIA B200 GPU 與革命性水冷機架系統 GB200 NVL72。這場被全球媒體盛讚為「AI 時代的伍茲塔克音樂節（Woodstock of AI）」的盛會，標誌著人類計算文明正式由百億級參數模型，全面跨入「兆級（Trillion-parameter）多模態即時推理」的全新時代。

雙晶片 10 TB/s 互聯奇蹟：2080 億個電晶體的物理極限

Blackwell 架構以統計學家兼數學家 David Harold Blackwell 命名，因單一矽片已完全達到當前半導體光學微影的物理極限（Reticle Limit），NVIDIA 研發團隊採用了革命性的雙晶片合體架構：

• 雙晶片整合封裝與 2080 億個電晶體： 由台積電 4NP（4nm 終極極限強化版）製程打造，將兩顆原本各自已達到光罩極限的巨大晶片，透過每秒高達 10 TB/s 的 NV-High Performance Interconnect（NV-HPI） 極速雙向接口在封裝內部緊密直連，讓軟體與開發者完全將其視為單一無縫的超大 GPU！
• 第二代 Transformer Engine 與全新 FP4 精度： 首創微型張量縮放（Micro-tensor Scaling）技術，在硬體層面原生支援 FP4（4 位元浮點） 精度。在維持高保真度的前提下，將兆級參數大模型的運算吞吐提升至前所未有的極限，整顆 B200 晶片輸出高達 20 PFLOPS 的驚人 FP4 算力！
• 192GB HBM3e 記憶體與 8 TB/s 頻寬： 搭載 8 顆堆疊 HBM3e 記憶體，提供高達 192GB 的巨量容量與突破天際的 8.0 TB/s 記憶體傳輸頻寬。

液冷機架 GB200 NVL72：將整個機櫃化為單一超級 GPU

在這場演講中最令全球震撼的工程奇觀，莫過於黃仁勳親自推向舞台中央的 GB200 NVL72 水冷機架系統：

1. 36 顆 Grace CPU 搭配 72 顆 Blackwell GPU： 整座高度超過兩公尺的伺服器機櫃，整合了 36 顆 Grace CPU 與 72 顆 B200 GPU，全部採用先進的全封閉式液體冷卻（Liquid Cooling）系統散熱。
2. 第五代 NVLink 銅纜全互聯網絡： 機櫃背部配置了近兩英里長的密集銅纜與 9 顆巨型 NVLink Switch 晶片，以高達 130 TB/s 的雙向雙向頻寬將 72 顆 GPU 完全互連為單一巨型 GPU，具備高達 30TB 的超高速共享記憶體池！
3. 訓練萬億參數大模型：耗電減少至 1/25： 在訓練擁有 1.8 兆參數的大型多模態模型時，過去需要動用 8000 顆 Hopper H100 GPU、消耗 15 兆瓦（MW）電力運作 90 天；如今只需 2000 顆 Blackwell GPU 即可在相同時間內完成訓練，消耗電力更暴降至僅僅 4 兆瓦（1/25）！

歷史回顧：全球超大規模算力集群的全新物理標準

Blackwell 架構與 GB200 NVL72 的發表，徹底重塑了全球 AI 資料中心的物理形態。包括微軟、亞馬遜 AWS、Google Cloud、Meta、甲骨文、特斯拉以及 OpenAI，第一時間宣布全線預訂並建設基於 Blackwell 的下一代萬卡、十萬卡超算中心。黃仁勳以無與倫比的工程執行力，再次為全人類的通用人工智慧（AGI）進程，鋪下了最堅固的算力跑道。