Intel Gaudi 3 人工智慧加速晶片測試性能比NVIDIA的 H100 快 50%

Intel在鳳凰城舉行的 2024 Vision活動上展示了一款名為 Gaudi 3 的新型人工智慧加速晶片。 憑藉運行大型語言模型（類似 ChatGPT 提供支援的模型）時強勁的性能主張，該公司已將 Gaudi 3 定位為NVIDIA H100 的替代方案，H100 是廣受資料中心青睞的 GPU，曾因供應短缺而引發關注，不過最近缺貨的情況似乎有所好轉。 

與NVIDIA的 H100 晶片相比，Intel預計 Gaudi 3 在 OpenAI 的 GPT-3 175B 大型語言模型和 Meta 的 Llama 2 的 70 億參數版本上進行訓練時速度將提高 50%。 在推理（運行訓練好的模型以獲取輸出）方面，Intel聲稱其新型人工智慧晶片在運行 Llama 2 和 Falcon 180B（這兩者都是相當流行的開放權重模型）時的性能比 H100 快 50%。 

• 延伸閱讀：Intel Vision 24：Lunar Lake、Xeon 6處理器以及Gaudi 3加速器推動AI無所不在

Intel瞄準 H100 是因為它擁有高市場佔有率，但該晶片並不是NVIDIA目前最強的人工智慧加速晶片。 H200 和 Blackwell B200 在理論上已經超越了 H100，但這些晶片都尚未上市（H200 預計將於 2024 年Q2推出 - 基本上隨時可能發表）。 

與此同時，上述 H100 的供應問題一直困擾著科技公司和人工智慧研究人員，他們不得不競爭獲得任何可以訓練 AI 模型的晶片。 這導致像微軟、Meta 和 OpenAI（據傳聞）等多家科技公司尋求自己的人工智慧加速器晶片設計，儘管這些客製晶片通常由Intel或台積電製造。 Google擁有自己系列的張量處理器單元 (TPU)，自 2015 年以來一直供其內部使用。 

鑑於這些問題，如果Intel能設定理想的價格（Intel尚未提供，但據報導 H100 的價格在 30,000 美元到 40,000 美元左右）並且能維持足夠的產量，那麼 Gaudi 3 可能會成為 H100 的潛在替代方案。 AMD 也製造一系列具有競爭力的 AI 晶片，例如 AMD Instinct MI300 系列，售價約為 10,000 美元至 15,000 美元。 

• 延伸閱讀：NVIDIA推出「最強AI晶片」H200，性能比H100提升60%至90%將成為下一代最賺錢產品

▲ Intel 發表的一份 Gaudi 3 AI 加速器規格說明

Gaudi 3 性能

Intel表示，新晶片在其前一代 Gaudi 2 的架構基礎上進行了擴充，透過高頻寬連接連接了兩個相同的矽片。每個矽片都包含 48 MB的中央快取記憶體，周圍環繞著四個矩陣乘法引擎和 32 個可程式化的張量處理器核心，使總核心數達到 64 個。

• 延伸閱讀：微軟工程師算給你看：NVIDIA H100 AI 晶片總耗電量明年將超越鳳凰城所有家庭總用電量
• 延伸閱讀：NVIDIA本季度H100 AI GPU出貨重達900公噸，估算相當於30萬片