NVIDIA 发表 Hopper 架構与 H100 GPU：搭載 Transformer 专用引擎，全面引爆全球生成式 AI 革命

2022 年 3 月 22 日，在加州聖荷西舉辦的 GTC 2022 春季主题演講中，NVIDIA 執行長黃仁勳发表了半导体史上最具傳奇色彩与经济價值的高效能运算芯片 —— NVIDIA H100 Tensor Core GPU，及其背後代號为「Hopper」的次世代加速架構。这顆芯片以电脑科学先驅 Grace Hopper 命名，針对當时正处於爆发前夜的 Transformer 架構进行了底層矽晶級別的極致定製。正是 H100 的誕生，为数个月後全球生成式 AI、萬億參数大模型以及智能湧现的全面狂飆，注入了最关鍵、最強橫的算力动能。

800 億个电晶体：台積电 4N 先进製程的工程極限

NVIDIA H100 是全球首款採用台積电客製化 4N 工藝製程（5nm 強化版）製造的超級芯片，芯片规格创下多項世界第一：

• 800 億个电晶体：在 814 mm² 的单一矽芯片上塞入了 800 億个高速电晶体，成为當时人类工程史上複雜度最高的单芯片处理器。
• 首发世界最速 HBM3 堆疊内存： 配備高達 80GB 的次世代 HBM3 内存，傳輸頻寬打破天花板達到驚人的 3.0 TB/s，比上一代 A100 整整提升了近一倍，徹底消除了超大型語言模型自注意力机制运算时的資料傳輸瓶頸。
• 首度支持 PCIe Gen5 与第四代 NVLink 互聯： 单芯片第四代 NVLink 提供高達 900 GB/s 的全雙工互連頻寬，比前代提升 50%；配合外部 NVLink Switch 网络系统，可將多達 256 顆 H100 GPU 結合成一个前所未見的巨型共享内存超級运算单元。

Transformer Engine：为大語言模型量身订做的算力引擎

Hopper 架構最具历史遠見的发明，莫過於其在硬件層面首创的 Transformer Engine（Transformer 专用引擎）：

1. 动态混合 FP8 与 FP16 浮点精度： Transformer 模型的注意力和前饋神经网络層各層数值动态范圍差異極大。傳统架構若使用低精度容易发生数值溢位或精度損失，若全部使用 FP16 则消耗過多算力。
2. 軟硬件協同动态量化（Dynamic Range Tracking）： Transformer Engine 能在神经网络运算进行的微秒瞬间，由硬件自动偵测張量数值范圍，在不損失任何模型訓練与推论精度的前提下，自动將合適的層次無縫切換至 FP8（8 位元浮点） 运算。
3. 訓練速度提升高達 6 倍，推论速度提升高達 30 倍： 在訓練擁有上千億參数的 GPT 系列巨型語言模型时，H100 展现出比前代 A100 狂飆 6 倍 的驚人吞吐；在即时生成式对話推论场景中，推论速度更狂增 30 倍！

DPX 动态规劃专用指令集

除了 AI 深度学習，Hopper 還首次在硬件中引入了 DPX 指令集，专门加速包括史密斯-沃特曼（Smith-Waterman）算法在內的「动态规劃（Dynamic Programming）」运算。这使得蛋白质三維結構预测、基因组定序比对以及机器人路徑规劃算法的运算速度，在硬件層面提升了 7 倍之多。

历史回顧：全球 AI 軍備競賽中最搶手的「硬通貨」

回顧 2022 年底 ChatGPT 的橫空出世以及隨後全球科技巨头发动的生成式 AI 軍備競賽，NVIDIA H100 成为了全球科技版图上最炙手可熱、供不应求的「算力硬通貨」：

• 微軟、Google、Meta、亞馬遜、甲骨文以及沙烏地阿拉伯、阿聯酋等主权基金，均以数萬張为单位瘋狂爭搶採购 H100 服务器集群。
• H100 芯片甚至被创投界譽为「新时代的算力石油」，直接推动 NVIDIA 的營收与获利在隨後兩年內实现数倍暴增，成为世界半导体史上無可匹敵的巔峰神話。