GTC 24：Phison推出aiDAPTIV+解決方案，解決大型AI模型VRAM不足問題

Image may be NSFW.
Clik here to view.

Phison在GTC 2024春季場展示aiDAPTIV+解決方案，透過中介軟體將固態硬碟作為顯示記憶體使用，解決執行大型AI模型記憶體不足的問題。

原來是DiskRAM啊

訓練大型AI模型、大型語言模型（LLM）會消耗相當大量的顯示記憶體（VRAM，或AI加速器上的專屬記憶體），若記憶體容量不足將直接導致無法完成訊練的問題，而搭載大容量顯示記憶體的產品價格相對高昂許多。

• 延伸閱讀：NVIDIA於GTC 2024春季場發表Blackwell GPU與NVLink交換器晶片，單顆GPU效能高達20PFLOPS

Phison推出的aiDAPTIV+解決方案包含中介軟體（Middleware）與獨家專利設計的aiDAPTIVCache系列ai100 SSD，將固態硬碟做為顯示記憶體使用，將可讓現行的工作站電腦或是AI伺服器訓練更大的AI模型，節省大量費用，也能避免使用雲端伺服器造成的資料外洩風險。

Image may be NSFW.
Clik here to view.▲ Phison在GTC 2024春季場的展場區域展示aiDAPTIV+解決方案。

Image may be NSFW.
Clik here to view.▲ aiDAPTIV+雖然會犧牲部分效能，但能以成本更低的固態硬碟取代昂貴的顯示記憶體。

Image may be NSFW.
Clik here to view.▲ aiDAPTIV+解決方案除了中介軟體之外，還有aiDAPTIVCache系列ai100 SSD固態硬碟。

Image may be NSFW.
Clik here to view.▲ 展場展出aiDAPTIV+解決方案以及ai100 SSD固態硬碟實物。

Image may be NSFW.
Clik here to view.▲ 以Phison提供的數據為例，以30組RTX 6000ADA運算卡訓練Llama-2 70B模型雖然只須0.8小時，但系統成本高達美金28.8萬元。使用4 / 16組運算卡雖然會讓訓練時間分別提高到4.41 / 1.2小時，但成本降至美金4.5 / 18萬元。

Image may be NSFW.
Clik here to view.▲ aiDAPTIV+解決方案的運作範例展示。

Phison也宣布與Asus、GIGABYTE、Maingear、MediaTek、台灣大哥大等廠商建立aiDAPTIV+技術合作夥伴關係，推動技術發展。