NVIDIA在GTC21期間宣佈A10與A30等針對AI運算與雲端串流、虛擬化等應用設計的運算卡，並透過MLPerf展現效能。
A10與A30輕量運算卡登場
先前NVIDIA已針對高效能AI運算推出A100繪圖處理器（以下簡稱GPU），以及滿足小型資料中心、邊緣運算與高階繪圖需求的T4與A40等GPU，為了填補這些產品之間的空缺，NVIDIA於GTC21 GPU技術大會期間發表了採用Ampere架構的A10與A30等產品。
A10規劃為繪圖與輕度AI等應用，採單槽PCIe Gen4介面卡形式，搭載頻寬達600GB/s的24GB GDDR6記憶體，TDP僅150W，只需單個8Pin電源插槽就可以滿足供電需求。其FP32浮點運算效能為31.2TF，TF32 Tensor Core運算效能則可達125TF（透過AI稀疏性強化之效能表現）。
A30則規劃為AI推論與主流運算應用，，採雙槽PCIe Gen4介面卡形式，並可透過NVLink串接2張卡，搭載頻寬達933GB/s的24GB HBM2記憶體，TDP為165W，比較特別的是它採用8-Pin CPU電源端子其FP32浮點運算效能達10.3TF，TF32 Tensor Core運算效能則可達165TF（透過AI稀疏性強化之效能表現），並可支援4組多執行個體GPU（Multi-Instance GPU，MIG）。
MLPerf跑分更公平
MLPerf是由學術界、研究實驗室和業界共同組成的AI聯盟，目標為打造公平、實用測試基準，測試項目包含圖像分類、物體偵測、翻譯、自然語言處理、推薦等類別，以發揮為硬體、軟體和服務的AI訓練與推論提供客觀的效能評估，並在近期推出1.0版基準。
NVIDIA透過各種軟體改進，以及開源的Triton推論伺服軟體，為既有硬體的效能進行最佳化，在過去6個月中已帶來明顯AI運算效能提升，其中在3D U-Net項目中成果最為顯著，效能增益高達45%。
另外值得關注的焦點，就是NVIDIA也透過MLPerf來驗證MIG虛擬化的效能耗損。在所有測試項目的綜合表現中，MIG能帶來98%的效能表現，代表虛擬化僅損失2%的效能表現，執行效率相當理想。
更多關於GTC21的報導，可以參考筆者先前撰寫的《NVIDIA於GTC21發表超強Arm架構CPU處理器NVIDIA Grace，效能海放x86》一文，以及該文中的延伸閱讀。
加入電腦王Facebook粉絲團