GPU是廣泛應用於人工智慧模型中的重要零件，價值數十億美元。首先，GPU最初是為了在電子遊戲和電腦軟體中顯示3D圖像和影片而設計的。如今，GPU還可以解壓視訊串流。
CPU和GPU具有不同的架構，GPU對於平行運算任務更有效率，而CPU則更適合於序列任務。CPU最適合執行一般任務，而GPU最適合處理複雜任務。
CPU由大約8至6個核心組成，而GPU由成千上萬個微小核心組成，可以平行工作以完成任務。這使它們適合需要同時執行大量作業的任務。 GPU通常有兩種類型：獨立晶片，作為大型電腦的附加卡使用，以及與CPU結合在一起形成一個晶片包的GPU。這些都可以在像PlayStation 5這樣的遊戲主機中找到。值得注意的是，GPU具有自己的控制邏輯，可以獨立於CPU運行，儘管它們通常與CPU一起工作完成各種任務。
那麼GPU在人工智慧中如何應用呢？大多數人工智慧技術以矩陣乘法的形式工作。這種技術使用數學運算來乘以大數字，並將他們相加求和。這些類型的函數與GPU的平行工作方式類似，因此它們可以很容易地由GPU執行。 GPU中的核心數量正在增加，因此其速度也在提高。台灣的TSMC正在努力改善GPU晶片的品量。單個電晶體的尺寸正在減小，這就是為什麼可以在同一個空間內放置更多的電晶體。但即使GPU在AI運算方面表現良好，它們仍然沒有執行任務的最佳特性。
GPU如何驅動AI革命
GPU設計用於加速運算任務，但也有一些加速器專為加速機器學習任務而設計。製造這些加速器的公司中，有些曾經製造傳統GPU。現在，他們已在機器學習設計方面取得進展，被稱為資料中心GPU。資料中心GPU和AI加速器比傳統GPU具有更多的記憶體。因此，資料中心GPU更適合於大型人工智慧模型。為了處理像ChatGPT這樣的大型人工智慧模型，需要將多個資料中心GPU結合起來形成強大的運算系統。這也需要複雜的軟體來處理所有的運算能力。
但CPU也在執行大量功能。許多最新的CPU都具有這可以提高網路的性能和可靠性的能力。要訓練AI模型，仍然需要大型GPU，並且應該為機器學習演算法設計專門的加速器。但是，開發專門的AI加速器需要大量工程資源，對於一般消費者來說成本太高。