1956 年，在達特茅斯學院召開的一個研討會上，人工智慧這一概念正式被提出。
之後這個詞一直挑戰著心理學家、哲學家和電腦科學家，因為它太難被定義了。1994 年，52 名心理學家聯合發文試圖捕捉它的本質。
隨著時間的推移，研究者開始將注意力轉移到特定領域的 AI 系統，如 2016 年 AlphaGo 挑戰韓國冠軍棋手大獲全勝。之後，時間來到 20 世紀 90 年代末和 21 世紀初，研究者不滿足於專用 AI，因此開發更通用的人工智慧系統呼聲越來越高。隨之而來的是，通用人工智慧 (AGI) 一詞開始在 2000 年代初期流行起來。
最近一段時間，如大家所見，大型語言模型 (LLM) 走到聚光燈下，這些神經網路基於 Transformer 架構，並在大量文本資料集上訓練而成。尤其是 OpenAI 最新發表的 GPT-4，更是展示了大型語言模型的通用性，在數學、文字、法律、醫學等領域樣樣精通。
我們不禁會問，GPT-4 是邁向 AGI 的重要一步嗎？
微軟給出的答案是肯定的，在其最近發表的一篇論文中，他們闡述了這個觀點。文中對 GPT-4 進行了全面評測。微軟認為「鑒於 GPT-4 能力的廣度和深度，我們相信它應該被合理視作一個通用人工智慧（AGI）系統的早期（但仍不完整）版本。」
微軟還表示，「本文的主要目標是對 GPT-4 的能力和局限性進行探索，我們相信 GPT-4 的智慧標誌著電腦科學及其他領域的真正典範轉移。」
有趣的是，這篇火爆的論文還被人發現有大量刪減，因此有人找出了未刪節版本的論文。
從未刪減版本中，這個部落客也扒出了大量隱藏的細節，如 GPT-4 的內部名稱為 DV-3，實際上也是該論文的隱藏第三作者，後被刪除；這些微軟的研究人員對 GPT-4 的技術細節似乎瞭解也並不多。此外部落客也透露這篇論文發表時刪除了有關毒性內容的部分（防止對 OpenAI 造成負面影響？）。
我們下面粘貼了該部落客的 Twitter 執行緒，感興趣的可以查看。
You might know that MSFT has released a 154-page paper (https://t.co/7ptdkaWjgb) on #OpenAI#GPT4 , but do you know they also commented out many parts from the original version?
— DV (@DV2559106965076) March 23, 2023
: A thread of hidden information from their latex source code
[1/n] pic.twitter.com/fYszk9365h
回到文章本身。
根據文章所認定的 AGI，是具體的擁有推理、計畫、解決問題、抽象思維、理解複雜思想、快速學習和從經驗中學習的能力。從這些能力出發，論文進行了有趣的實驗和評測。
論文分為 10 個章節：第一章為總括部分；第二章介紹了多模態，主要和視覺生成內容相關；第三章程式碼，根據指令產生程式碼、理解現有程式碼；第四章數學能力；第五章與世界的互動；第六章與人類的互動；第七章判別力；第八章 GPT-4 局限性；第九章社會影響；第十章未來方向及結論。
下面我們透過具體的示例，看看 GPT-4 是不是真的邁進了 AGI 時代。
多模態和跨學科組成
為了測試模型將藝術與程式相結合的能力，該研究要求 GPT-4 用 javascript 寫一段程式碼，以產生康丁斯基風格的隨機圖像，下圖第一張為（瓦西里·康丁斯基） Wassily Kandinsky 創作的，第二張和第三張分別由 GPT-4 和 ChatGPT 產生的：
下面為 GPT-4 程式碼實現過程：
進行視覺概念理解：在這個畫圖任務中， 輸入提示讓模型結合字母 Y、O、H 的形狀來畫一個人。其實在 GPT-4 的訓練過程從沒有關於字母形狀的認識，只能從相關訓練資料中、模糊地學習到字母與一些特定形狀有關，結果顯示 GPT-4 產生的結果還不錯：
用於草圖生成：GPT-4 還能與 Stable Diffusion 進行結合。下圖為 3D 城市建模截圖，輸入提示有一條河流從左到右流淌、河的旁邊建有金字塔的沙漠、螢幕底部有 4 個按鈕，顏色分別為綠色、藍色、棕色和紅色。下面是產生的結果：
你還能要求 GPT-4 用 ABC 記譜法產生和修改曲調：
程式設計能力
GPT-4 有非常強大的程式設計能力，包括根據指令編寫程式碼和理解現有程式碼。該研究具體測試了 GPT-4 在程式設計方面的能力。
程式碼編寫
下圖 3.1 是一個讓 GPT-4 寫 python 函數的例子，該研究使用 LeetCode 線上判斷程式碼是否正確。
然後，該研究讓 GPT-4 將上表 2 中 LeetCode 上的準確率資料視覺化為圖表，結果如下圖 3.2 所示。
前端 / 遊戲開發
如下圖 3.3 所示，該研究讓 GPT-4 用 JavaScript 在 HTML 中編寫 3D 遊戲，GPT-4 在零樣本的情況下產生了一個滿足所有要求的遊戲。
深度學習程式設計
為深度學習編寫程式碼需要數學、統計學知識，並熟悉 PyTorch、TensorFlow、Keras 等框架和庫。如下圖 3.4 所示，研究者要求 GPT-4 和 ChatGPT 編寫自訂最佳化器模組，該任務對於人類深度學習專家來說也是具有挑戰性的。研究者為 GPT-4 和 ChatGPT 提供了自然語言描述，其中包括一系列重要的操作，例如應用 SVD 等等。
此外，該研究還測試了 GPT-4 把程式碼轉換成 LaTex 公式的能力，結果如下圖 3.5 所示。
在理解程式方面，該研究嘗試讓 GPT-4 和 ChatGPT「讀懂」一段 C/C++ 程式，並預測程式的輸出結果，二者的表現如下：
然後，該研究讓 GPT-4 解釋了一段 Python 程式碼：
還有解釋一段偽程式碼：
數學能力
一直以來，大型語言模型的數學能力似乎一直不是很好。那麼 GPT-4 在這方面表現如何呢？本文經過一系列評測，結果表明 GPT-4 相比以前的模型在數學方面有了質的飛越，但是離專家水準還差得很遠，不具備數學研究的能力。
在與 ChatGPT 的對比中， GPT-4 成功的產生了解決方案，而 ChatGPT 回答了錯誤答案：
在 AP 問題上，GPT-4 vs ChatGPT 對比結果。GPT-4 使用了正確的方法，不過由於計算錯誤導致最終答案錯誤，而 ChatGPT 產生了一個不連貫的論點。
此外，本文還測試了 GPT-4 使用數學思維和技術來解決現實問題的能力：下圖展示了 GPT-4 如何成功地為一個需要廣泛跨學科知識的複雜系統構建合理的數學模型，而 ChatGPT 未能取得有意義的進展。
由於論文內容長達 154 頁，本文只對評測結果進行了大量展示，想要瞭解更多內容，讀者可以參考原論文。
加入電腦王Facebook粉絲團