NVIDIA發表最新MLPerf測試成績，Jetson AGX Orin取得邊緣AI效能領先

採用Ampere架構的NVIDIA Orin低功耗SoC在MLPerf效能測試中創下AI推論新記錄，推升了邊緣AI運算的效能標竿。

Orin也加入MLPerf效能測試

MLPerf是由學術界、研究實驗室和業界人士共同組成組織，旨在打造公正且能夠反映實際應用情境的AI運算測試基準。在最新的MLPerf 2.0規範中，在邊緣運算環境導入多資料流（Multi Stream）測試項目，測量邊緣運算裝置在多攝影機、多感應器情境的效能表現，以得到更貼近真實使用情況的數據。

Orin是針對邊緣AI運算設計的低功耗SoC，除了能搭配Hyperion自駕車平台應於車用電腦，也適合多種機器人應用。在最新MLPerf 2.0效能測試中，Jetson AGX Orin的效能最高可達前代Jetson AGX Xavier的5倍，同時提供平均2倍的電力效率。

▲ MLPerf測試包含推薦系統、自然語言處理、語音辨識、醫學影像、影像分類、物件偵測等多個項目。

▲ MLPerf 2.0導入多資料流（Multi Stream）測試項目，測量邊緣運算裝置在多攝影機、多感應器情境的效能表現。

▲ 根據最新MLPerf 2.0效能測試，Jetson AGX Orin的效能最高可達前代Jetson AGX Xavier的5倍，同時提供平均2倍的電力效率。

▲ Jetson AGX Orin的效能表現也高於競爭對手Qualcomm Cloud AI100 DM.2。

▲ 同為PCIe介面卡型式的產品NVIDIA A100也有高於Qualcomm Cloud AI100 PCIe的表現。

▲ 各測試項目中A100的效能皆領先Cloud AI100 PCIe，但部分項目的電力效率落後。

▲ 在特定項目中，NVIDIA A100甚至有105倍於處理器的AI運算效能。

▲ 從測試數據可以看到多執行個體 GPU僅會損失2%的效能。

NVIDIA也透過數據表示現有的A100 GPU在眾多測試項目都有出色表現，而且NVIDIA是唯一在所有MLPerf測試中都有提交成績的公司，並透過測試成績說明多執行個體 GPU（Multi-Instance GPU，MIG）能在幾乎不影響效能的前提下進行GPU的虛擬化，增加使用彈性。