隨著人工智慧的飛速發展，對運算能力的需求也水漲船高。NVIDIA的 AI 處理器 H100 目前十分暢銷，然而每張 H100 的峰值功耗高達 700 瓦，超過了普通美國家庭的平均功耗。隨著大量 H100 被部署，專家預測，其總功耗將與一座美國大城市不相上下，甚至超過一些歐洲小國。
法國施耐德電氣公司早在去年 10 月就估計，用於 AI 應用的資料中心的總功耗已經與賽普勒斯全國相當。那麼，最熱門的 AI 處理器之一 —— NVIDIA的 H100，功耗究竟幾何？
微軟資料中心技術治理和戰略部門首席電氣工程師保羅·楚諾克（Paul Churnock）預測，到 2024 年底，當數百萬張 H100 部署完畢時，其總功耗將超過美國亞利桑那州鳳凰城所有家庭的用電量，但仍低於德州休士頓等更大的城市。
楚諾克發文表示：「NVIDIA的 H100 GPU 峰值功耗為 700 瓦，按照 61% 的年利用率運算，相當於一個美國家庭的平均功耗（假設每個家庭 2.51 人）。NVIDIA預計，2024 年 H100 的銷量將在 150 萬到 200 萬張之間。按城市居民用電量排名，H100 的總功耗將位居全美第五，僅次於休士頓，排在鳳凰城之前。」
按照 61% 的年利用率，每張 H100 每年將消耗約 3740 千瓦時 (kWh) 的電量。如果NVIDIA在 2023 年售出 150 萬張 H100，2024 年售出 200 萬張塊，到 2024 年底，將有 350 萬張 H100 晶片被使用。這些晶片的總年耗電量將達到驚人的 130.91 億千瓦時，即 13091.82 吉瓦時 (GWh)。
相比之下，喬治亞、立陶宛或瓜地馬拉等國家的年均電力消耗也大約為 13092 吉瓦時。雖然 H100 的功耗令人震驚，但值得注意的是，AI 和高性能運算 (HPC) GPU 的效率正在不斷提高。因此，雖然NVIDIA下一代 Blackwell 架構的 B100 晶片的功耗可能會超過 H100，但它也將提供更高的性能，從而以更少的單位功耗完成更多工作。
隨著 AI 技術的發展，如何平衡算力與能耗之間的矛盾，將成為未來亟需解決的重要課題。
- 延伸閱讀：Intel發佈新一代AI晶片Gaudi3，官方宣稱性能優於NVIDIA H100
- 延伸閱讀：NVIDIA本季度H100 AI GPU出貨重達900公噸，估算相當於30萬片
- 延伸閱讀：NVIDIA賺翻啦！需要5萬張H100顯示卡才能訓練GPT-5