NVIDIA發表MLPerf 1.1訓練跑分成績，3年間透過軟硬體升級提升效能20倍

在最新的MLPerf 1.1訓練效能測試中，NVIDIA在全部8個項目中都具有亮眼成績，並且在3年的時間內讓效能表現提升20倍。

世代升級與軟、硬體最佳化雙管齊下

MLPerf是由學術界、研究實驗室和業界人士共同組成組織，旨在打造公正且能夠反映實際應用情境的AI運算測試基準，這次發表的成績為AI訓練1.1版。

NVIDIA是本輪測試中唯一提交全部8個測試項目的參與者，並且在目前世界排名第6的NVIDIA Selene超級電腦與Microsoft Azure NDm A100 v4執行個體（雲端虛擬機器上都有出色的效能表現，成績優於Google、Graphcore、Habana Labs等公司的產品。

NVIDIA表示在過去1.5年的時間內，他們透過軟硬體的最佳化（包括使用搭再DPU的智慧網路卡），包括可以啟動多重核心並消除處理器瓶頸的CUDA Graph、提生平行化多工運算效能的CUDA Stream、為多GPU與多節點最佳化的NCCL與SHARP、為記憶體最佳化的MXNet等技術，讓DGX SuperPOD超級電腦的效能表現最高提升5.3倍，DGX A100運算平台也有最高達2.1倍的增益。若是將時間拉長到與先前的V100 GPU相比，效能表現更是在3年內成長20倍。

▲ MLPerf的測試包含語音辨識、自然語言處理、推薦系統、強化學習、醫學影像、物件偵測、圖片分類等多種項目。

▲ NVIDIA是本輪測試中唯一提交全部8個測試項目的參與者，表現與競爭對手最高可拉開至53倍。（圖表中的數據為AI訓練花費時間，越少越好）

▲ 若將成績標準化為每個晶片的效能表現，NVIDIA A100運算卡最高也能與競爭對手最高可拉開6.5倍差距。

▲ 過去1.5年間NVIDIA透過軟硬體最佳化讓AI運算效能最高提升5.3倍。

▲ 若納入運算卡的世代升級，3年間的效能增益更是達到20倍。

NVIDIA加速運算資深總監（Senior Director of Product Management, Accelerated Computing）Paresh Kharya也在會後訪談中表示，Selene是以超級電腦為基礎的運算平台，而Microsoft Azure NDm A100 v4則是雲端虛擬機器，2者的架構截然不同，但都可透過A100運算卡達成運算需求，可見NVIDIA的硬體產品與軟體堆疊可以滿足各種尺度的使用需求。