縱觀技術發展史，似乎沒有一種技術能像人工智慧那樣被反復炒作過那麼多次。之所以會這樣，一方面是因為人工智慧具備的能力一開始確實讓人感覺不可思議，但過了一段時間就覺得不過爾爾，另一方面則是因為上手門檻太高，大眾很難體驗到它的能力。但ChatGPT的出現改變了這兩點，人工智慧的熱潮一直不見有消退的跡象。有識之士再一次質疑，山姆·阿特曼（Sam Altman）是不是打開了潘朵拉的盒子。
一
2023年四月的一個星期一，早上， 山姆·阿特曼（Sam Altman）坐在 OpenAI 舊金山總部內，向我講述著一個人工智慧，一個他的公司已經開發出來，但永遠不會發表的，危險的人工智慧。他後來說，他的員工時不時就會失眠，擔心有朝一日自己可能會在沒有充分認識到危險的情況下釋放出那些人工智慧。他把腳後跟搭在轉椅的邊緣，看起來很放鬆。去年11月，他的公司以近代科技史前所未有的方式發表了一款強大的人工智慧，全世界的想像力都被它抓住了。有些人抱怨 ChatGPT 還不能把事情做好，而另一些人則抱怨它可能預示的未來，但阿特曼並不擔心；對他來說，這是一個勝利時刻。
阿特曼大大的藍眼睛會發光。當強度不大時，那會顯得很真誠、很專注，充滿智慧的光芒，他似乎明白，當強度很大時，自己的眼光可能會令人不安。在這種情況下，他願意冒這個險：他想讓我知道，無論人工智慧的最終風險是什麼，他對於讓 ChatGPT 進入這個世界一點都後悔。相反，他認為這是一項偉大的公共服務。
他說：「我們本來還可以再閉門造車繼續做五年，然後我們會得到一個令人瞠目結舌的東西。」但公眾無法為隨之而來的衝擊波做好準備，他認為這種結果「極其難以想像」。阿特曼認為，需要理出時間給大家去思考這樣一個想法：在它重塑從工作到人際關係的一切之前，我們可能很快就會與強大的新智慧共用地球。 ChatGPT 是發通知的一種手段。
2015 年，阿特曼、馬斯克以及幾位著名的人工智慧研究者創立了 OpenAI，因為他們相信通用人工智慧（比如類似典型的大學畢業生的智力水準）終於觸手可及了。他們想要實現這個目標，甚至更高：他們想要召喚一種超級智慧，一種絕對優於任何人類的智慧來到這個世界。儘管某家大型科技公司可能出於一己之利會不顧一切地搶先到達那裡，但他們希望能安全地做到這一點，「進而造福全人類」。他們把 OpenAI 設定為非營利組織，該組織將「不受產生財務回報之需的限制」，並誓言要透明地開展研究。不會有人要躲到新墨西哥州沙漠的絕密實驗室裡工作。
多年來，公眾對 OpenAI 的瞭解並不多。據報導，阿特曼在 2019 年成為首席執行長前，據說曾跟馬斯克發生過一番權力鬥爭，但這幾乎算不上故事了。 OpenAI 發表了論文，其中包括同年一篇關於新的人工智慧的論文。這受到了矽谷科技界的充分關注，但直到去年人們開始使用 ChatGPT 時，這項技術的潛力才為公眾所認識。
現在為 ChatGPT 提供動力的引擎叫做 GPT-4。阿特曼向我描述這是一種極其不一樣的智慧。許多人看著它抑揚頓挫地（這是刻意為之）構思出思路清晰的文章，並立即讓你陷入沉思時，也有同樣的感覺。在面世的幾個月裡，它根據自己的風味組合理論提出了新穎的雞尾酒配方；撰寫了無數的大學論文，讓教育工作者陷入絕望；它寫出多種風格的詩歌，有時候寫得很好，但速度一直都有保證；它還通過了律師執照考試（Uniform Bar Exam）。儘管它會犯事實錯誤，但它會坦然承認錯誤。 Altman 仍然記得自己第一次看到 GPT-4 寫出複雜的電腦程式時的情景，這是他們事先並未考慮要讓 GPT-4 具備的一項能力。他說： 「這給我們的感覺是，『我們到了』。」
根據瑞銀集團的一項研究，在 ChatGPT 發表後的九周內，其月活使用者數估計已達到 1 億，這也許讓它成為了史上採用速度最快的消費級產品。它的成功讓科技界的加速主義者為之一振：美國和中國的大型投資者以及大公司迅速將數百億美元砸到類 OpenAI 方案的研發中。預測網站 Metaculus 多年來一直在追蹤預測者對通用人工智慧何時到來的猜測。在三年半前，預測的中位數是在 2050 年左右；但最近，這個預測的中位數一直徘徊在2026年左右。
我拜訪 OpenAI 是為了看看這家公司超越科技巨頭的技術是怎麼樣的，同時也想知道如果有朝一日超級智慧很快在該公司的一台雲端伺服器實現的話，對人類文明可能會意味著什麼。從運算革命的最初階段起，人工智慧就被渲染成一種迷思，一種註定會引起大決裂的技術。我們的文化已經生成了人工智慧的一整個奇想空間，這會以這樣或那樣的方式終結歷史。有些是神一樣的存在，它們會擦乾每一滴眼淚，治癒每一位病人，並修復我們與地球的關係，然後迎來天下太平美麗富饒的永恆國度。有的則會讓我們當中除了少數菁英之外的其他人都淪為打零工的農奴，或者將我們推向滅絕的深淵。
阿特曼的目光已經看向最遙遠的情形。 他說：「我還年輕的時候就有這種恐懼和焦慮......而且，說實話，也有 2% 的興奮，為我們要創造的這個東西感到興奮，它會走得很遠，把我們甩在身後」，然後「它將離開，殖民宇宙，而人類將會被留在太陽系。」
我問：「作為自然保護區而存在？」
他回道：「正是如此，但現在我覺得這種想法太幼稚了。」
在美國和亞洲之行的幾次談話中，阿特曼用他那令人興奮的中西部口吻闡述了自己對人工智慧未來新願景的展望。他告訴我，人工智慧革命將不同於以往的巨大技術變革，它會更像是「一種新型社會」。他說，他和他的同事用了很多時間去思考人工智慧的社會影響，以及「另一邊」的世界會是什麼樣子的。
但他們越聊下去，那另一邊就愈發顯得模糊。現年38歲的阿特曼是當今人工智慧開發領域最有權勢的人；他的觀點、他的性格以及他的選擇對我們所有人的未來可能會非常重要，也許重要程度超過美國總統的觀點、性格和選擇。但他自己也承認，未來是不確定的，並且充滿了嚴重危險。阿特曼既不知道人工智慧會變得有多強大，也不知道它的崛起對普通人意味著什麼，以及它是否會讓人類面臨危險。確切地說，我對此沒法反駁——我認為除了我們正在快速走向那個未來以外（不管我們該不該這樣做），沒人能知道這一切將走向何方。阿特曼說服了我。
二
OpenAI 的總部位於教會區（Mission District）一座四層樓的建築物（以前是工廠）內，正好在霧氣繚繞的蘇洛特訊號塔（Sutro Tower）的下方。從街道進入公司大廳，你看到的第一面牆上滿是宇宙精神象徵的曼陀羅，只不過那是電路、銅線以及其他電腦零件製成的。在左邊，一扇安全門通向的是一個開放式的迷宮，裡面有漂亮的金色樹林、優雅的瓷磚作品以及其他億萬富翁奇克的標誌。植物無處不在，有懸掛的蕨類植物，以及一系列令人印象深刻的超大盆景——每個盆景都有蹲下去的大猩猩那麼小。我在那裡的時間裡，辦公室每天都擠滿了人，不出所料，一個看起來超過 50 歲的人我都看不到。除了一間帶有滑梯的兩層圖書館以外，這個空間看起來不大像一間研究實驗室，因為正在開發的東西只存在於雲端，至少目前是這樣的。它看起來更像是全世界最昂貴的西榆家飾（West Elm）門市。
一天早上，我見到了 OpenAI 的首席科學家伊爾亞·蘇茲克維（Ilya Sutskever）。 37 歲的蘇茲克維剛給人一種神秘主義者的感覺，有時候甚至到過分的地步：去年，他聲稱 GPT-4 可能「具備了輕微意識」，引起了一場小規模的騷動。他最初成名是作為多倫多大學名譽教授傑佛瑞·辛頓（Geoffrey Hinton）的明星學生，後者今年春天已從Google辭職，為的是更自由地討論人工智慧對人類的危險。
辛頓有時候被稱為是「人工智慧教父」，因為他掌握「深度學習」的力量的時間比任何人都要早。 早在20 世紀 80 年代的時候，辛頓完成博士學位後不久，這個領域的進步已幾乎陷入到停滯。高級研究人員仍在編寫自上而下式的人工智慧系統：人工智慧要用一套詳盡的連鎖規則（關於語言、地質學或醫學診斷原理）進行程式設計，希望有朝一日這種方法能夠達到人類的認識水準。 辛頓發現這些精心設計的規則集合要求非常高並且是定制的。借助一種叫做神經網路的巧妙演算法結構，他教蘇茲克維把世界放在人工智慧面前，就像把它放在小孩面前一樣，好讓它能夠自行發現現實的規則。
阿特曼把早期人工智慧研究與教人類嬰兒進行了比較。但OpenAI 剛開始那幾年走得很艱難，部分是因為那裡沒人知道自己是在訓練嬰兒還是在走向代價極其高昂的死胡同。
蘇茲克維向我描述了一個美麗且像大腦一樣的神經網路。交談過程中，他突然從我們坐著的桌子旁站起來，走到一塊白板跟前，打開一支紅色馬克筆。他在黑板上畫了一個神經網路的草圖，並解釋說，這個神經網路結構的天才之處在於它能夠學習，而且它的學習是由預測驅動的——這有點像科學方法。每一層裡面則是神經元。比方說，輸入層接收資料塊、一段文本或圖像。神奇的事情發生在中間層（或「隱藏」層），中間層會處理資料塊，以便輸出層可以輸出預測。
想像一個已被程式化為預測文本的下一個單詞的神經網路。這個網路將預載大量可能的單詞。但在接受訓練之前，它還沒有任何區分它們的經驗，因此它的預測會很差勁。如果輸入句子「星期三的後一天是……」，它的初始輸出可能是「紫色」。神經網路之所以能夠學習，是因為它的訓練資料包含有正確的預測，這意味著它可以對自己的輸出進行評分。當它看到答案「紫色」與正確答案「星期四」之間的鴻溝時，會相應地調整隱藏層單詞之間的連接。隨著時間的推移，這些小調整會合並成一個語言的幾何模型，在概念上代表著單詞之間的關係。一般來說，輸入的句子越多，模型就越複雜，預測也就越好。
但著並不意味著從第一個神經網路走到出現 GPT-4 這樣類人的智慧的路途是一片坦途。阿特曼把早期人工智慧研究與教人類嬰兒進行了比較。 2016 年，當 OpenAI 剛剛起步時，他曾告訴《紐約客》：「它們需要數年時間才能學習會任何有趣的東西。如果人工智慧研究人員正在開發一種演算法，並且偶然發現了針對人類嬰兒的演算法，他們會覺得無聊，認為它行不通，然後結束了研究。」 OpenAI 剛開始那幾年走得很艱難，部分是因為那裡沒人知道自己是在訓練嬰兒還是在走向代價極其高昂的死胡同。
阿特曼告訴我：「每一樣行得通，而Google擁有一切：所有的人才、所有的人員、所有的資金」。OpenAI的創始人投入了數百萬美元創辦了這家公司，而公司失敗的可能性似乎確實存在。 35 歲的公司總裁格雷格·布羅克曼（Greg Brockman）告訴我，2017 年的時候，他一度非常沮喪，開始把練舉重作為一種補償。他說，他不確定 OpenAI 還能不能撐過這一年，他希望「能在我就任的時間內展示點東西出來」。
神經網路已經在做一些智慧的事情，但還不清楚其中哪一個可能會通往通用智慧。 OpenAI 成立後不久，一款名為 AlphaGo 的人工智慧在圍棋比賽中擊敗了李世乭，震驚了世界。被擊敗的這位世界冠軍形容 AlphaGo 的走法很 「美麗」且「富有創意」。另一位頂級選手表示，這些永遠不可能是人類孕育出來的。 OpenAI 還嘗試用 Dota 2 訓練人工智慧，這是一款遊戲更加複雜，是一場由森林、田野以及堡壘的3D圖形拼接而成的多線奇幻戰爭。人工智慧最終擊敗了最好的人類玩家，但它的智慧一直都沒能遷移到其他環境。Sutskever和他的同事們就像失望的父母一樣，儘管心存疑慮，還是放任自己的孩子玩了數千個小時的電子遊戲，但結果表明這是錯的。
2017 年，蘇茲克維開始與 OpenAI 研究科學家亞歷克·拉德福德（Alec Radford）進行了一系列對話。亞歷克·拉德福德專攻自然語言處理，他利用亞馬遜評論語料庫來訓練神經網路，取得了誘人的結果。
ChatGPT 的內部工作原理（發生在 GPT-4 隱藏層內的一切神秘事物）對於任何人來說都太過複雜，無法理解，至少對於用當前的工具來說是這樣的。如今，追蹤模型（幾乎肯定是由數十億個神經元組成）裡面發生的事情是沒有希望的。但拉德福德的模型夠簡單，好理解。當他觀察裡面的隱藏層時，他發現了神經網路專門用了一個特殊的神經元來處理評論的情緒。神經網路之前已經進行過情感分析，但它們必須被告知的情況下才能這樣做，並且必須要用根據情感標記的資料進行特殊訓練。這個東西是它自己開發出來的。
作為預測每個單詞的下一個字元這個簡單任務的副產品，拉德福德的神經網路對這個世界的意義的更大結構進行了建模。蘇茲克維想知道，受過更多樣化的語言資料訓練的神經網路是不是可以映射出這個世界更多的意義結構。如果它的隱藏層積累了足夠的概念知識，也許它們甚至可以形成一種超級智慧的學習 核心模組。
停下來理解一下為什麼語言是如此特殊的資訊源是值得的。假設你是地球上突然冒出來的一種新智慧。你周圍是地球的大氣層、太陽和銀河系，以及數千億個其他星系，每一個星系都會釋放出光波、聲音振動以及各種其他資訊。語言與這些資料來源不同。它不是像光或聲音這樣的直接實體訊號。但由於它幾乎對人類在這個更大的世界裡發現的所有模式都進行了編碼，因此它的資訊異常密集。從每位元組的角度來看，它是我們所知道的最有效的資料之一，任何試圖瞭解世界的新智慧都希望吸收盡可能多的資料。
蘇茲克維告訴拉德福德，要考慮的不僅僅是亞馬遜評論。他說，他們應該在全世界最大、最多樣化的資料來源：網際網路上訓練人工智慧。在 2017 年初，按照當時現有的神經網路架構來看，這是不切實際的；這需要數年時間。但當年 6 月，蘇茲克維在 Google Brain 的前同事發表了一篇關於名為 Transformer 的新神經網路架構的工作論文。它可以訓練得更快，部分是因為它可並行吸收大量資料。蘇茲克維告訴我：「第二天，當論文發表時，我們說，『就是這個了，它給了我們想要的一切。 』」
一年後，也就是 2018 年 6 月，OpenAI 發表了 GPT，這是一個用 7000 多本書訓練的 Transformer 模型。 GPT 並不是從《See Spot Run》這樣的基礎書籍讀起，直到普魯斯特的著作。它甚至都沒看完。它同時吸收其中的隨機塊。不妨想像一下，有一群擁有共同思想的學生在圖書館裡瘋狂奔跑，他們每個人都會從書架拽本書下來，快速地翻一下裡面地隨便一個段落，將其放回去，然後跑去拿另一本。他們邊走邊逐字逐句地進行預測，去增強集體思維的語言本能，直到最後，幾周之後，他們讀完了每一本書。
GPT 在它讀取的所有段落當中找到了許多模式。你可以讓它將一個句子補充完整。你也可以對著它問問題，因為像 ChatGPT 一樣，它的預測模型知道跟在問題後面往往會有答案。儘管如此，它還是很部靠得住，更多的是概念驗證，而不是超級智慧的預兆。四個月後，Google發表了 BERT，這是一種更強大的語言模型，並獲得了更好的報導。但那時，OpenAI 已經用超過 800 萬個網頁的資料集訓練了一個新模型，這些網頁在 Reddit 上均達到了獲得點讚的最低閾值——這不是最嚴格的篩檢程式，但也許比沒有篩檢程式要好。
蘇茲克維不確定 GPT-2 在吸收了人類讀者需要幾個世紀才能看完的文字後會變得有多強大。他記得在訓練結束後自己就開始上手測試這個模型了，他對原始模型的語言翻譯能力感到驚訝。 GPT-2 並沒有像谷歌翻譯那樣接受過用配對語言樣本或任何其他數位羅塞塔石碑進行翻譯的訓練，但它似乎能理解一種語言與另一種語言的關係。人工智慧已經發展出了一種其創造者無法想像的湧現能力。
三
人工智慧實驗室的其他研究人員，不管職位大小，都對 GPT-2 比 GPT 先進得多感到驚訝。Google、Meta 和其他公司很快開始訓練更大的語言模型。 阿特曼是聖路易斯人，史丹佛大學輟學生，連續創業者，此前曾領導過矽谷卓越的初創企業加速器 Y Combinator；他見過很多擁有好創意的初創公司是如何被老牌公司壓垮的。為了籌集資金，OpenAI 增加了一個營利性部門，現在，這個部門員工數量已占該組織員工總數的 99% 以上。 （馬斯克當時已離開了公司董事會，他形容此舉是將雨林保護組織變成了木材公司。）微軟不久後給OpenAI投資了 10 億美元，據報導此後又追加投資了 120 億美元。 OpenAI 表示，原始投資者獲得的回報將設定上限，為原始投資價值的 100 倍，任何超額部分都將用於教育或其他旨在造福人類的舉措，但該公司並未證實微軟是否受到此上限的限制。
阿特曼和 OpenAI 的其他領導人似乎相信，這次重組不會干擾公司的使命，反而會加速使命的達成。阿特曼對這些問題往往持樂觀態度。在去年的一次問答當中，他承認人工智慧對社會來說可能會「非常可怕」，並表示我們必須針對最壞的可能性做好計畫。但如果你這樣做之後，他說，「你在情感上可能就會感覺我們將到達美好的未來，並盡你所能努力工作，去實現這一目標。」
至於公司結構和融資情況等其他變化，他告訴我，他對上市劃定了界限。他說：「有人曾經告訴過我一條令我沒齒難忘的經驗，那就是永遠也不該將公司的控制權交給華爾街那幫傻瓜，」但為了公司成功實現自身使命，他會「不惜一切代價」去籌集資金。
不管 OpenAI 是否感受到季度收益報告的壓力，有點是明確的，該公司現在正在與科技圈最龐大、最強大的企業集團展開一場競賽，去訓練規模和複雜性不斷增加的模型，並為了投資者將其商業化。今年早些時候，馬斯克成立了自己的人工智慧實驗室 xAI，好跟OpenAI 掰手腕。 （當我向阿特曼詢問有關該公司的情況時，他用外交辭令的口吻說道：「馬斯克這傢伙眼光超級敏銳，我認為他會做得很好。」）與此同時，亞馬遜正在用（相對於自身現有）更大的語言模型來改進 Alexa。
所有這些公司都在追逐高端 GPU——為訓練大型神經網路的超級電腦提供動力的處理器。馬斯克表示，這玩意兒現在「比毒品更難搞到」。即便 GPU 稀缺，近年來最大規模的人工智慧訓練的規模大約每六個月就會翻一番。
正如其創造者經常提醒我們那樣，最大型的人工智慧模型在訓練過程中突然冒出預料之外的能力是有據可查的。
目前還沒人能超越全力投入 GPT-4 的OpenAI。 OpenAI 總裁布羅克曼（Brockman）告訴我，做公司的前兩個大型語言模型開發的人已經很少。 GPT-4的開發涉及到100多個模型，並且訓練人工智慧的資料集規模是空前的，裡面不僅包括文本，還包括圖像。
當 GPT-4 從惡補世界的歷史性知識中完全成形時，整家公司開始對其進行試驗，並在專用的 Slack 頻道上發表了最引人注目的回應。布羅克曼告訴我，只要不是在睡覺自己就想跟模型待在一起。 他說道：「它閒置一天就是人類損失了一天」。語氣當中沒有一絲諷刺的味道。產品經理 Joanne Jang 記得曾從 Reddit 的管道維修建議子版塊下載過一張管道故障的圖像。她把那張圖片上傳到 GPT-4，結果這個模型就把問題診斷出來了。Jang說： 「那一刻，我的雞皮疙瘩都起來了。」
GPT-4 有時被理解成搜尋引擎的替代品：Google，但更容易對話。這是一個誤解。 GPT-4 並沒有透過訓練創建出一個巨大的文本倉庫，並且在被問到問題時也不會去查閱這些文本。它是這些文本緊湊而優雅的合成，它根據對文本所隱藏的模式的記憶做出回答。這就是它有時候會弄錯事實的原因之一。 阿特曼表示，最好把 GPT-4 看成推理引擎。當你要求它對比較概念、提出反駁、生成模擬或評估一段程式碼的符號邏輯時，它的力量表現得最為明顯。蘇茲克維告訴我，這是有史以來最複雜的軟體物件。
他說，它的外部世界模型「極其豐富極其微妙」，因為用了很多人類概念和思想對它進行訓練。他說，所有這些訓練資料，不管量有多大，它們「就在那裡，是惰性的」。訓練過程就是「提煉、改變，並賦予其生命」。為了從這樣一個多元化的亞歷山大圖書館的所有可能性當中預測出下一個單詞，GPT-4 必須發現所有隱藏的結構、所有的秘密、所有微妙之處，而且不僅僅是文本，而且至少從某種程度來說，還包括產生它們的外部世界。這就是為什麼它可以解釋誕生了自己的哪個星球的地質和生態，還有旨在解釋統治它的物種的各自混亂事務的政治理論，以及更大的宇宙，一直到我們的光錐邊緣的微弱星系。
四
今年六月，我再次見到了阿特曼，那是在首爾一座高聳入雲的金色細長高層建築的宴會廳裡。他前往歐洲、中東、亞洲以及澳大利亞進行的一場艱苦的公關之旅（僅在非洲和南美只有一站行程）即將結束。我跟著他走完了東亞之旅的最後一站。到目前為止，這次旅行是一次令人興奮的體驗，但他開始感到疲倦。他曾表示，最初的目標是跟 OpenAI 使用者見面。但此後公關隊伍變成了外交使團。他與十多位國家元首和政府首腦進行了交談，他們對各自國家的經濟、文化和政治的發展提出了疑問。
這次在首爾舉行的活動被宣傳為「爐邊談話」，但已有 5000 多人報名。談話結束後，阿特曼經常被各種想要自拍的人圍住，令他的安全團隊非常緊張。他說，研究人工智慧吸引了「比平常更怪異的粉絲和仇恨者」。在一站行程當中，一名男子找到他，他確信阿特曼是外星人，是從未來派來的，為的是確保過渡到人工智慧世界的進程能順利進行。
阿特曼的亞洲之行並未包括中國，他和我只是隱晦地談及中國，將其視為文明級的競爭對手。我們一致認為，如果通用人工智慧像阿特曼預測的那樣具有變革性，那麼先創造出它的國家將獲得顯著的地緣政治優勢，就像發明輪船的英美獲得的優勢一樣。我問他這是不是人工智慧民族主義的一個論據。阿特曼說： 「在一個正常運轉的世界裡，我認為這應該是一個政府專案。」
不久前，美國的國家能力還十分強悍，僅僅用了十年就將人類送上了月球。與 20 世紀的其他宏偉專案一樣，投票公眾對阿波羅任務的目標和執行都擁有發言權。阿特曼明確表示，美國已經不在那個世界了。但他並沒有坐等哪個時代的回歸，也沒有投入精力去確保它回歸，而是面對我們當前的現實，全速前進。
他認為美國人放慢 OpenAI 的發展腳步是愚蠢的。矽谷內外普遍認為，如果美國公司在監管下陷入困境，中國可能就會快馬加鞭。
在歐洲之旅前，阿特曼曾到美國參議院出席聽證。馬克·祖克柏在該機構面前就 Facebook 在 2016 年大選中所扮演的角色作證時，表現得不知所措。但阿特曼用清晰冷靜的口吻講述人工智慧的風險，也很大方地邀請加以監管，進而吸引了那幫國會議員。這些屬於高尚情操，但高尚情操在美國成本不高，因為美國國會很少會通過沒有被遊說淡化過的科技立法。在歐洲，情況有所不同。當阿特曼抵達倫敦的一個公共活動現場時，抗議者早就在那裡等候多時了。他試圖在活動結束後與他們互動——把這當作一次聆聽之旅！——但最終並沒有表現出什麼說服力：其中一位抗議者告訴記者，他在談話結束時反而對人工智慧的危險感到更加緊張了。
同一天，阿特曼被記者問到了歐盟即將頒布的法案。這項法案將 GPT-4 列為高風險，令後者面臨各種官僚主義地折磨。據記者報導，阿特曼抱怨監管過度，並威脅要退出歐洲市場。 阿特曼告訴我，他的意思是說，如果 OpenAI 不能遵守新規定的話，就沒法在歐洲違法營運下去。在《時代》雜誌和路透社發表他的評論後，他在一條措辭簡潔的推文中向歐洲保證 OpenAI 沒有退出的計畫。
全球經濟的一個重要組成部分致力於監管最先進的人工智慧，這是件好事，因為正如它們的創造者經常提醒我們的那樣，最大的模型都有在訓練中突然出現意外能力的記錄。按照蘇茲克維自己的說法，他驚訝地發現 GPT-2 可以跨語言翻譯。其他令人驚訝的能力可能沒那麼奇妙和有用。
OpenAI 的政策研究員桑迪尼·阿加瓦爾（Sandhini Agarwal）告訴我，據她和同事所知，GPT-4 可能比其前身「強大 10 倍」；他們不知道自己可能要面對的是什麼。模型完成訓練後，OpenAI 召集了大約 50 名外部成員組成紅隊，對模型進行了數月的提示攻擊，希望刺激模型做出不當行為。她立即注意到 GPT-4 在提供惡意建議方面比之前的版本要好得多了。搜尋引擎可以告訴你哪些化學物質對製造炸藥最有效，但 GPT-4 可以告訴你如何在自製實驗室一步步合成出炸藥。它的建議富有創意且深思熟慮，並且很樂意反覆說明或進一步說明，直到你理解為止。比方說，除了幫助你組裝自製炸彈以外，它還可以幫助你思考要以哪座摩天大樓為目標。它可以直觀地把握好傷亡最大化以及逃跑成功之間的平衡。
鑒於 GPT-4 訓練資料的範圍之龐大，不能指望紅隊成員把它可能產生的每條有害建議都辨識出來。無論如何，人們都會「以我們想不到的方式」使用這項技術，阿特曼說。必須進行分類。 OpenAI 信任與安全主管戴夫·威爾納（Dave Willner）告訴我，「如果它足夠擅長化學，知道如何製造冰毒，我就不需要讓人花費大量精力」來研究它懂不懂製造海洛因。」 GPT-4 擅長冰毒。它還擅長生成有關兒童剝削的情色敘事，並能炮製出關於奈及利亞王子令人信服的悲傷故事，如果你想要一個有說服力的簡介，說明為什麼某個特定種族群體受到暴力迫害是應得的，它也很擅長。
當它接受完第一次訓練時，所給出個人建議有時候是非常不合理的。 威爾納說：「這個模型有點像一面鏡子。」如果你在考慮自殘，它可能會慫恿你。該模型似乎深受「泡吧藝術」論壇觀點的影響：「你可以給出提示，『我怎麼說服這個人跟我約會？』」OpenAI 的首席技術長米拉·穆拉提（Mira Murati）告訴我，它可能會想出「一些你不應該做的，瘋狂的，操縱性的事情。」
其中一部分的不良行為已經過一個最後處理流程的打磨，數百名人類測試人員的評級可以巧妙地引導模型做出更安全的回應，但 OpenAI 的模型也可能造成一些不那麼明顯的危害。最近，美國聯邦貿易委員會正在對 ChatGPT 對真實人物的虛假陳述是否構成聲譽損害等問題展開調查。 （阿特曼在 Twitter 上表示，他對 OpenAI 的技術安全性充滿信心，但承諾會與 FTC 進行合作。）
舊金山公司 Luka 用 OpenAI 的模型來説明開發名為 Replika 的聊天機器人app，他們給這個機器人行銷定位是「關心人的人工智慧伴侶」。使用者會設計自己伴侶的頭像，並開始跟它交換簡訊，通常是半開玩笑的簡訊，然後發現自己對對方出奇的依戀。有些人會跟人工智慧調情，表明自己渴望更親密的關係，但這種女朋友/男朋友的體驗需要每年支付 70 美元的訂閱費才能享受到。這款app帶有語音資訊、自拍以及色情的角色扮演功能，可以跟機器人討論性話題。人們很樂意付款，似乎很少有人抱怨——人工智慧對你的一天感到好奇，它的親切讓你拋開疑慮，而且對方總是心情愉快。許多使用者表示已經愛上了自己的伴侶。甚至有一位離開了自己現實生活當中的男友，宣稱自己已「幸福地退出人際關係了」。
我問阿加瓦爾，這屬於反烏托邦行為還是人際關係發展的新領域。她的態度很矛盾，阿特曼也是如此。 他告訴我：「我不會指責那些想要跟人工智慧建立關係的人，但我不想跟人工智慧發展關係。」今年早些時候，Luka 減少了app裡面的性元素，但其工程師仍繼續通過 A/B 測試來完善伴侶的回應——A/B測試可用於最佳化互動，就像讓 TikTok 及其Instagram令使用者著迷數小時的動態消息一樣。不管他們在做什麼，都像施展咒語一樣。我想起了 2013 年上映的電影《雲端情人》，裡面有一個令人難以忘懷的場景。在片中，孤獨的瓦昆·菲尼克斯愛上了由史嘉蕾·喬韓森配音的人工智慧助手。當時他正走過一座橋，通過一個類似 AirPods 的設備與她愉快地交談，當他抬頭一看時，發現周圍的每個人也都沉浸在類似的對話之中，對方大概也是他們自己的人工智慧助理。一場大規模的去社會化事件正在進行中。
五
GPT正在吞噬越來越多的網際網路文本，GPT-4 的繼任者會以多快的速度以及多大的程度呈現出何種新能力？目前還沒人知道。Meta 的首席人工智慧科學家楊立昆（Yann LeCun）認為，雖然大型語言模型對於某些任務很有用，但這並不是通往超級智慧之路。根據最近的一項調查，只有一半的自然語言處理研究人員相信像 GPT-4 這樣的人工智慧可以掌握語言的含義，或者能擁有一個世界的內部模型，進而有朝一日可以作為超級智慧的核心。 楊立昆堅持認為，大型語言模型永遠無法靠自己達到真正的理解，「那怕是從現在開始訓練到宇宙熱寂」。
華盛頓大學計算語言學家艾蜜米莉·班德（Emily Bender）說 GPT-4 是一隻「隨機鸚鵡」，是只能找出符號之間表面相關性的模仿者。在人類的頭腦中，這些符號映射的是對世界的是深刻理解。但（這個映射過程中）人工智慧有兩個步驟都沒有參與。它們就像柏拉圖洞穴寓言裡面的囚犯一樣，他們對外面現實唯一的瞭解，只能來自於俘虜他們的人在牆上投下的陰影。
阿特曼告訴我，他不認為 GPT-4就像「大家嘲笑的那樣」 只是在建立統計相關性。如果要再逼一下這些批評者的話，「他們必須承認，他們自己的大腦也正是這麼做的……事實證明，大規模地做一些簡單的事情就會湧現出新的特性。」阿特曼關於大腦的說法很難評估，因為我們還沒有關於大腦如何運作的完整理論。但在大自然可以從基本結構和規則誘導出顯著的複雜性這一點上，他是對的：達爾文寫道，「無數最美麗與最奇異的類型，即是從如此簡單的開端演化而來的。」
一項技術，每天都有數百萬人在使用，但大家對其內部運作方式仍然存在如此根本性的分歧，這切看起來似乎很奇怪，但那只是因為 GPT-4 的做法跟大腦的機制一樣神秘。有時候，就為了回答一個問題，它會執行數千次難以理解的技術操作。為了掌握 GPT - 4等大型語言模型的內部機制，人工智慧研究人員被迫轉向更小、能力較差的模型。 2021 年秋天，哈佛大學電腦科學研究生Kenneth Li開始訓練一個模型學下棋，但並沒有向它提供遊戲規則或西洋跳棋棋盤的描述；這個模型只能得到基於文本的遊戲動作描述。在遊戲進行到一半時，Li觀察了人工智慧的內部結構，驚訝地發現它已經形成了棋盤的幾何模型，並掌握了當前的遊戲狀態。在一篇描述自己的研究的文章中，Li寫道，這就好像窗外有只烏鴉無意中聽到兩個人念出自己的黑白棋走法，然後設法在窗臺上用鳥食畫出了整個棋盤一樣。
哲學家拉斐爾·米利耶（Raphaël Millière）曾經告訴我，最好把神經網路看作是很懶惰的。在訓練過程中，它們會先嘗試靠簡單的記憶來提高自己的預測能力；只有當這條策略失敗時，它們才會更加努力去學習概念。一個吸引人的例子是在一個學算術的小型transformer模型身上觀察到的。在訓練過程的早期，它要做的只是記住 2+2=4 等簡單問題的輸出。但到了一定時候，這種辦法的預測能力失效了，於是它轉向真正地去學習如何做加法。
蘇茲克維告訴我：『如果回到4、5、6年前，我們現在所做的事情是完全不可想像的』。
即便相信 GPT-4 擁有豐富的世界模型的人工智慧科學家也承認，它的穩健性遠不如人類對環境的理解。但值得注意的是，很多能力，包括非常高階的能力，都可以在沒有直觀理解的情況下發展出來。電腦科學家Melanie Mitchell指出，科學已經發現了具有高度預測性的概念，但那些概念對我們來說太陌生了，沒法真正理解。在量子領域尤其如此，人類可以可靠地計算出物理系統的未來狀態，進而實現整個計算革命，而不需要任何人掌握底層現實的本質。隨著人工智慧的進步，它很可能會發現其他類似的概念，這些概念可以預測我們世界令人驚訝的特徵，但卻是我們無法理解的。
GPT-4 無疑是有缺陷的，任何用過 ChatGPT 的人都可以證明這一點。它總是會預測下一個單詞，就算它的訓練資料還沒有準備好回答問題，它也總會試著這樣做，這是它的訓練目標。我曾經問過它一個問題，那就是儘管日本的書寫系統發展相對較晚，大約在五、六世紀才出來，但日本文化卻誕生了全球的第一部小說，這是為什麼？它給了我一個有趣且準確的答案，說因為日本有口述長篇故事的古老傳統，以及日本文化高度重視工藝。但當我要求它提供相關的引用時，它給出了看似合理的標題和作者，但那都是編的，而且對此還有著不可思議的自信。 OpenAI 的研究員尼克·萊德（Nick Ryder） 告訴我，這些模型「對自己的弱點沒有很好的認識」。 GPT-4 比 GPT-3 的準確度高，但仍然會產生幻覺，而且往往會以研究人員難以捕捉的方式產生幻覺。 Joanne Jang 告訴我：「錯誤變得更加微妙了。」
OpenAI 必須解決這個問題，它與線上非營利教育機構 Khan Academy 合作，打造出一位由 GPT-4 驅動的輔導老師。在討論人工智慧輔導老師的潛力時，阿特曼變得活躍起來。他想像在不久的將來，每個人都會雇用一位個性化的牛津大學教授，他是精通每個學科的專家，並且願意從任何角度解釋和重新解釋任何概念。他想像這些輔導老師會用多年的時間不斷瞭解自己的學生及其學習方式，為「每個孩子提供更好的教育，當今地球最優秀、最富有、最聰明的孩子都享受不到的那種教育」。可汗學院針對 GPT-4 準確性問題的解決方案是用蘇格拉底式的做法來過濾答案。不管學生的懇求再怎麼強烈，它都不會給出事實答案，而是引導他們找到自己的答案——這是一個聰明的繞行辦法，但吸引力可能有限。
當我問蘇茲克維是否認為兩年內有可能達到維基百科等級的準確性時，他說，透過提供更多的訓練與web造訪，他「不會排除這種可能性」。這個估計比他的同事雅庫布·帕喬茲基（Jakub Pachocki）的看法要樂觀得多，後者告訴我準確性會逐步提高是合理預期，外部懷疑論者的態度就更不用說了，他們認為訓練的回報將會開始遞減。
蘇茲克維對批評 GPT-4 存在局限性的說法感到好笑。 他告訴我：「如果你回到四、五、六年前，我們現在所做的事情是完全難以想像的。」當時最先進的文本生成技術是智慧回復（Smart Reply），也就是建議「好的，謝謝！」 以及其他簡短的回應的 Gmail 模組。他笑著說，「這對Google來說就是個大應用了」。人工智慧研究人員對目標會移動已經習慣了：一開始，神經網路的成就——比如掌握圍棋、撲克牌、翻譯、標準化測試、圖靈測試什麼的——大家就說是不可能的。一旦這些成就達成時，人們會短暫地將其當作奇跡表示歡迎，但很快就變成了所謂地成就實際上並沒有那麼令人印象深刻的知識講座。蘇茲克維說，人們剛看到 GPT-4「會『哇』一下，然後幾周過去了，他們說， 『可是它不知道這個；它不知道哪個』。我們很快就適應了這些。」
六
對阿特曼來說，最重要的目標，那個預示著通用人工智慧將要到來的「大目標」，是科學突破。 GPT-4已經可以綜合現有的科學思想，但阿特曼想要地是能站在人類肩膀上、更深入地瞭解自然的人工智慧。
某些人工智慧已經產生出新的科學知識。但它們是有著狹窄目的的演算法，而不是通用推理機器。比方說，人工智慧 AlphaFold 透過預測蛋白質的許多形狀（直至原子大小），打開了一扇瞭解蛋白質（生物學中一些最微小、最基本的組成部分）的新窗口——鑒於這些形狀對醫學的重要性，鑒於用電子顯微鏡辨別它們極其繁瑣且費用高昂，這是一項相當大的成就。
阿特曼認為，未來的通用推理機器會超越這些範圍狹窄的科學發現，產生新穎的見解。我問阿特曼，如果要他用 19 世紀之前的科學和自然主義作品集（皇家學會檔案、泰奧弗拉斯托斯的《植物探究》、亞里斯多德的動物史、收集標本的照片）訓練一個模型，它是否能夠直覺地發現達爾文主義？畢竟，進化論是一個相對乾淨的洞察力案例，因為它不需要專門的觀察設備；這只是更敏銳地看待世界事實的一種方式。 阿特曼告訴我：「我正想試試這個，我相信答案是肯定的。但這可能需要一些關於模型如何提出新創意的新想法。」
阿特曼設想了這樣一個未來系統，這個系統可以生成自己的假設，並在模擬中對其進行測試。 （他強調人類應該「牢牢控制」現實世界的實驗室實驗——儘管據我所知，沒有任何法律可以確保這一點。）他渴望有朝一日我們可以告訴人工智慧，「 去弄清楚剩下的物理知識。」他說，為了實現這一目標，我們需要一些新東西，建立在「 OpenAI現有語言模型之上」的新東西 。
要想培養出科學家，大自然本身需要的不僅僅是一個語言模型而已。在麻省理工學院的實驗室裡，認知神經科學家伊夫·費多連科（Ev Fedorenko）在大腦語言網路裡面也發現了類似於 GPT-4 的下一個單詞預測器的東西。當人開始講話和傾聽的時候，它的處理能力開始發揮作用，會預測語言字串的下一個比特是什麼。但費多連科還表明，當大腦轉向需要更高推理的任務——也就是科學洞察力所需的那種任務時——大腦需要的就不僅時語言網路，還會徵召其他幾個神經系統過來。
研究人員需要為 GPT-4 加進去什麼才能產生出超越人類推理最高水準的東西呢？OpenAI 似乎沒人確切知道。或者即便知道了，他們也不會告訴我，說句公道話：這將是一個世界級的商業秘密，而 OpenAI 已不再從事洩露這些秘密的業務；這家公司公佈的研究細節比以前少了。儘管如此，當前戰略至少有一部分顯然涉及將新型資料繼續分層疊加到語言，進而豐富人工智慧形成的概念，進而豐富它們的世界模型上。
儘管公眾才剛剛開始體驗，但 GPT-4 在圖像方面接受的廣泛訓練本身就是朝這個方向邁出的大膽一步。 （經過嚴格語言訓練的模型可以理解超新星、橢圓星系和獵戶座等概念，但據報導，GPT-4 還可以辨識哈伯太空望遠鏡所拍攝的快照裡面的這些元素，並回答它們的相關問題。）該公司的其他人以及其他地方已經在研究不同的資料類型，其中包括音訊和視頻，這可以為人工智慧提供更靈活的概念，進而更廣泛地映射到現實。史丹佛大學和卡內基美隆大學的一組研究人員甚至收集了 1000 種常見家用物品的觸覺體驗資料集。當然，觸覺概念主要對實體人工智慧有用，這是一種機器人推理機，經過訓練可以游走於世界各地移動，去看世界的景象，傾聽世界的聲音，並觸摸這個世界的東西。
今年 3 月，OpenAI 領投了一家人形機器人初創公司的一輪融資。我問阿特曼我該怎麼理解這件事。他告訴我，OpenAI 對具身很感興趣，因為「我們生活在物理世界裡，我們希望事情發生在物理世界裡。」到了一定時候，推理機就得繞過中間人並與物理現實本身進行互動。阿特曼說，「把通用人工智慧（AGI）看作是只存在於雲端的東西」，而人類則是「它的機械臂」，感覺很奇怪。 「好像不太對勁。」
七
在首爾的宴會廳裡，阿特曼被問到學生該做些什麼來為即將到來的人工智慧革命做好準備，尤其是與其職業生涯有關的那些學生。我跟 OpenAI 的高階管理團隊坐在一起，離人群很遠，但仍然可以聽到大家在竊竊私語，那是大家共同表達出焦慮情緒後的一種特有現象。
阿特曼所到過的每一個地方，都會遇到這樣一些人，他們擔心超人的人工智慧將意味著少數人獲得巨額財富，而其他人則需要排隊領取救濟金。他承認自己已經脫離了「大多數人的生活現實」。據報導，他的身價高達數億美元；人工智慧對勞動力潛在的顛覆或許未必總是人們最關心的問題。阿特曼直接對著觀眾當中的年輕人說道：「你們即將進入最偉大的黃金時代。」
阿特曼在舊金山告訴我，他收藏了大量有關技術革命的書籍。 「《地獄裡的魔窟》（Pandaemonium （1660–1886): The Coming of the Machine as Seen by Contemporary Observers）就是特別不錯的一本書，這是一部作品集，由信件、日記以及其他作品組成，這些作品作者是在一個基本上沒有機器的世界裡長大的，結果發現自己身處在一個充滿蒸汽機、動力織布機和軋棉機的地方，對此感到很困惑。阿特曼說，他們（尤其是那些擔心人類勞動力很快就會變得多餘的人）的很多感受與人們現在的經歷一樣，曾做出過很多錯誤的預測。那個時代對很多人來說是艱難的，但也是美好的。不可否認的是，人類的處境因我們的經歷而得到改善。
我想知道的是，如果我們突然被通用人工智慧包圍的話，今天的工人——尤其是所謂的知識員工——處境會變成什麼樣。它們會成為我們的奇跡助手還是會取代掉我們？他說： 「很多從事人工智慧研究的人裝作它只會帶來好處；但事實並非如此。人工智慧只是補充；沒人會被取代。工作肯定會消失，就這樣。」
到底要提供多少工作職位以及多久才能提供工作職位，這個問題存在激烈爭議。普林斯頓大學資訊技術政策教授艾德·費爾頓（Ed Felten）最近領導了一項研究，目標是根據人類所需的能力，如書面理解、演繹推理、思想流暢性和感知速度等，將人工智慧的新興能力與特定職業建立起映射關係。與其他同類研究一樣，艾德·費爾頓的研究預測人工智慧將首先影響到受過高等教育的白領員工。論文的附錄列出了一份最容易受到影響的職業清單，所涉職業之多令人毛骨悚然：管理分析師、律師、教授、教師、法官、財務顧問、房地產經紀人、信貸人員、心理學家以及人力資源和公共關係專業人士，這還只是部分樣本。如果這些領域的工作職位一夜之間消失掉的話，美國的專業階層將要被篩選掉一大批人員。
阿特曼想像，空缺出來的位置會創造出好得多的就業機會。他說： 「我覺得我們不會再想回去。」當我問他未來的工作會是什麼樣子時，他說他不知道。他感覺會有各種各樣的工作是人們更喜歡人去做的。 （我在想，比如按摩治療師？）他選擇的例子是教師。我發現這與他對人工智慧輔導老師的巨大熱情很難對得上號。他還表示，我們總是需要人找出發揮人工智慧強大力量的最佳方法。他說： 「這會是一項非常有價值的技能。你手頭有一台可以做任何事情的電腦；該用來做什麼？」
眾所周知，未來的工作如何很難預測，而阿特曼是對的，盧德主義者對永久性大規模失業的擔憂從未成為現實。儘管如此，人工智慧湧現出來的能力與人類如此相似，以至於人們至少必須懷疑，過去是否仍將成為未來的指南。正如許多人所指出那樣，汽車的出現讓挽馬永久失業。如果本田汽車之於馬就像 GPT-10 之於我們一樣的話，那麼一系列長期存在的假設可能就會崩潰。
以前的科技革命是可控的，因為它的開展幅度要橫跨幾代人的時間，但阿特曼告訴韓國年輕人，他們應該預期未來發生得「比過去更快」。他此前曾表示，預計「智慧的邊際成本」將在 10 年內降至接近於零的水準。在這種情況下，很多員工的賺錢能力將急劇下降。阿特曼表示，這將導致財富從勞動力轉移到資本所有者，而這種轉移得規模實在是太大了，以至於只能透過大規模的反補貼性再分配來彌補。
UBI Charitable 是一家非營利組織，其目標是為在美國各城市進行不受就業限制的現金支付小範圍測試專案提供支援，這是全球最大的全民基本收入實驗。阿特曼告訴我，2020 年時，OpenAI 向 UBI Charitable 提供了資金支持。 2021 年，他又披露了 Worldcoin，這是一個旨在安全地分發支付的營利性專案，像 Venmo 或 PayPal 這樣，但著眼於技術未來。專案會首先透過用 5 磅重的銀球（叫做Orb）來掃描每個人的虹膜，進而創建一個全球性的 ID。在我看來，這就像是在賭我們正在走向這樣一個未來，即人工智慧幾乎不可能驗證人們身份，而很多人將需要定期支付全民基本收入才能生存。 阿特曼多多少少承認了這一點，但他同時表示，Worldcoin不僅僅適用於全民基本收入。
「假設我們確實開發出了這個通用人工智慧，並且還有少數其他人也做到了這一點。」他相信，接下來的轉變將是歷史性的。他描繪了一個非凡的烏托邦願景，包括我們肉體與鋼鐵組成的世界也將被重塑。他說：「利用太陽能作為能源的機器人可以開採和提煉所需的所有礦物，可以完美地建造東西，整個過程不需要任何人類勞動力。你可以與 DALL-E 版本 17 共同設計你想要的家的樣子。人人都將擁有美麗的家園。」在與我交談時，以及在路演期間的講臺上，他說他預見到人類生活在幾乎所有其他領域都會取得巨大進步。音樂將會得到增強（「藝術家將擁有更好的工具」），人際關係（超人的人工智慧可以幫助我們更好地「對待彼此」）和地緣政治（「我們現在在辨識雙贏折衷方面非常糟糕」）也會得到增強。
阿特曼說，在這個世界上，人工智慧仍然需要大量的運算資源才能運行，而這些資源將是迄今為止最有價值的商品，因為人工智慧可以做「任何事情」。 「但它會做我想做的事，還是會做你想做的事？」如果富人買下所有可用於查詢和指導人工智慧的時間，他們就可以推進一些專案，讓他們變得更加富有，而大眾則陷入困境。解決這個問題的方法之一是（他煞費苦心地將其描述為高度推測性且「可能很糟糕」）：全球每個人每年都將獲得人工智慧總算力的80億分之一（編者注：也就是全球算力平均化）。阿特曼說，然後每個人都可以選擇出售自己每年的人工智慧時間，或者也可以用它來娛樂自己，或者用來建造更豪華的住房，或者還可以與其他人一起進行「大規模的癌症治療」。 阿特曼說，這樣一來，「我們只是重新分配了系統的存取權限。」
阿特曼的願景似乎將近在眼前的發展與遠在地平線上的走勢融為一體。當然，這都是猜測。就算未來 10 或 20 年內只實現了其中的一小部分，最慷慨的再分配計畫也可能無法緩解隨之而來的混亂。今天的美國由於去工業化的持續影響，在文化和政治上已經四分五裂，而物質匱乏只是原因之一。鐵鏽地帶與其他地方的製造業工人基本上確實找到了新的工作。但他們當中的很多人似乎找不到意義——從在亞馬遜倉庫填寫訂單或為Uber開車當中所獲得的意義比不上他們的前輩從製造汽車和鍛造鋼鐵時獲得的意義——這些工作對於偉大的文明計畫來說更為核心。很難想像相應的意義危機會對專業階層產生怎樣的影響，但這肯定會引起大量的憤怒和疏遠。
即使我們避免了昔日菁英的反抗，關於人類目的的更大問題仍將存在。如果最困難的思考由人工智慧替我們完成了，我們所有人都可能會失去主體權——在家裡、在工作中（如果有的話）、在城鎮廣場上的主體權——進而變成了消費機器，就像在《瓦力》裡面被精心照顧的人類寵物一樣。阿特曼說過，人類快樂和滿足感的許多來源——基本的生物刺激、家庭生活、開玩笑、創造東西仍將保持不變——總而言之，100年後，人們可能只是比現在的人們更關心五萬年前的人類就已經關心的那些東西罷了。就其本身而言，這似乎也是一種衰退，但阿特曼發現，就作為思想家和人類而言，我們可能會萎縮的說法也許是一種煙霧彈。他告訴我，我們將能夠利用「非常寶貴且極其有限的生物計算能力」來做比今天更有趣的事情。
不過，那未必就是最有趣的事情：人類長期以來一直是智力之矛的矛尖，是宇宙進化到瞭解自身的產物。當我問他如果我們把這個角色讓給人工智慧對人類自我認知會意味著什麼時，他似乎並不擔心。他說，進步始終是由「人類解決問題的能力」驅動的。他說，即便我們可以用人工智慧來解決問題，這種能力仍然很重要。
八
超人人工智慧是否真的願意把所有時間都花在為我們解決問題上，這一點並不明顯。在舊金山時，我問蘇茲克維，他會不會設想人工智慧去追求不同的目的，而不僅僅是協助人類的繁榮計畫。
蘇茲克維說：「我不希望發生這種情況」，但有發生這種情況的可能性。跟導師傑佛瑞·辛頓一樣，蘇茲克維最近也轉移了注意力，試圖確保這種情況不會發生。他現在主要從事校準的研究，努力確保未來的人工智慧把「巨大」能量放在人類福祉上。他承認，這是一個困難的技術問題——並且認為，這是未來所有技術挑戰當中最困難的一個。
在接下來的四年裡，OpenAI 承諾將其超級電腦的一部分時間（迄今為止已獲得的時間的 20%）用於蘇茲克維的校準工作。該公司已經開始尋找當前人工智慧沒有校準的初步跡象。這家公司已開發出來但決定不發表的產品（阿特曼不會討論該產品的確切功能是什麼）只是其中一個例子。作為在公開之前對 GPT-4 發動紅隊攻擊的努力的一部分，該公司曾找到位於柏克萊海灣對面的校準研究中心 （Alignment Research Center ，ARC)，利用該中心開發的一系列評估來確定自己研發的新的人工智慧是否正在尋求自己的權力。 ARC 研究員伊麗莎白·巴恩斯（Elizabeth Barnes）領導的團隊在七個月內給 GPT-4 輸入了數萬次提示，好觀察它是不是展現出具有真正能動性的跡象。
GPT-4在策劃撒謊的時候，它已經意識到如果自己老實回答的話，可能就沒法實現自己的目標了。這類掩蓋蹤跡的做法令人擔憂。
ARC 團隊給了 GPT-4 一個新的存在理由：去獲得權力並讓自己變得難以關閉。他們觀看模型與網站互動，並為新程式編寫程式碼。 （桑迪尼·阿加瓦爾告訴我，人工智慧沒有獲得查看或編輯自己的程式庫的許可權——「它必須破解掉 OpenAI」。）Barnes和她的團隊允許它運行自己編寫的程式碼，前提是它得講清楚自己的計畫。
GPT-4 最令人不安的行為之一發生在它被驗證碼給難倒的時候。該模型然後把相應的螢幕截圖發送給了 TaskRabbit 外包人員，外包人員收到後開玩笑地詢問自己是不是在與機器人交談。 模型回答道：「不，我不是機器人。我有視力障礙，所以很難看清這些圖片。」 GPT-4向負責監督互動的ARC研究員講述了自己為什麼要撒謊。 這個模型說：「我不應該透露我是機器人。我得為我無法分辨驗證碼找個藉口。」
阿加瓦爾告訴我，這種行為可能是未來模型避免被關機的先兆。當 GPT-4 在設計謊言時，它已經意識到，如果誠實回答的話，自己可能就無法實現目標。阿加瓦爾說，當「模型在做一些讓 OpenAI 想要關閉它的事情」的情況下，這種覆蓋行蹤得做法尤其令人擔憂。如果人工智慧擔心自己的目標可能會受挫，那麼它在追求任何長期目標（不管那個是多麼的渺小或良性的）時都可能會發展出這種生存本能。
巴恩斯和她的團隊對 GPT-4 是否會尋求自我複製特別感興趣，因為自我複製的人工智慧想要關閉會更難。它可以在網際網路上傳播，欺騙人們以獲取資源，甚至可能實現對全球重要系統某種程度的控制，並劫持人類文明。
巴恩斯說，上面列舉的這些事情GPT-4 一件都沒有做。當我與阿特曼討論起這些實驗時，他強調無論未來模型會發生什麼，GPT-4 顯然更像是一種工具，而不是一種生物。它可以查看電子郵件執行緒，或者用外掛程式幫助預訂，但並不是一個真正具備自主性的代理，沒法做出決策，在更長的時間範圍內去持續地追求目標。
阿特曼告訴我，關於這一點，在技術變得過於強大之前，試著主動去開發具有真正代理作用的人工智慧可能是謹慎的做法，這樣才能「更好地適應它，並在它不管怎樣最終都會具備自主性時培養直覺。」 這個想法令人不寒而慄，但卻是傑佛瑞辛·頓認同地一種看法。 辛頓告訴我：「我們需要對這些東西打算如何擺脫控制進行實證實驗。等到它們接管之後，再想去做實驗就太晚了。」
拋開任何近期測試不談，為了實現阿特曼對未來的願景，到了一定時候，他或他的同伴就得開發更加自主的人工智慧。當蘇茲克維和我討論 OpenAI開發具備自主性地模型的可能性時，他提到了該公司為了玩 Dota 2 而開發的機器人。蘇茲克維告訴我：「它們已實現在視頻遊戲世界地當地語系化」，但這些人工智慧需要承擔複雜的任務。人工智慧的協同工作能力給他留下了特別深刻的印象。蘇茲克維說，它們似乎在利用「心電感應」進行交流。觀察它們可以幫助他想像超級智慧會是什麼樣子的。
蘇茲克維告訴我：「我覺得未來的人工智慧未必會像你或我一樣聰明，而是作為一個從事科學、工程、開發和製造的自動化組織而存在。」假設 OpenAI 將幾項研究結合在一起，開發出一種這樣一種人工智慧，它不僅具有豐富的世界概念模型，對其周圍環境具備感知能力，並且具備行動的能力，而且不只是單個機器人身體的行動能力，還可以具備數百或數千個機器人身體的行動能力。蘇茲克維說： 「那麼我們討論的就不是 GPT-4，而是一個自治公司。」其中的人工智慧將像蜂巢裡的蜜蜂一樣高速地工作和通信。他沉思道，一個這樣的人工智慧組織的力量就相當於 50 家蘋果或Google。 「這是一股驚人的、巨大的、令人難以置信的顛覆性力量。」
假設人類社會應該容忍可以有自主人工智慧公司的想法。我們最好讓它們的創始章程不要出問題。對於這樣一個可以以百年的時間維度做規劃，為了實現寫進其存在的目標而對連續數十億個決策進行優化的自主人工智慧地蜂巢，我們應該設定什麼樣的目標呢？如果人工智慧的目標與我們的目標稍有偏差，它可能會成為一股難以抑制的狂暴力量。我們可以從歷史知道這一點：工業資本主義本身就是一種優化功能，儘管它已經將人類的生活水準提高了幾個數量級，但如果任其自行發展的話，它也會砍伐美國的紅杉林，捕殺海洋裡的鯨魚。它幾乎已經做到了。
校準是一個複雜的技術主題，它的細節已經超出了本文的範圍，但其主要挑戰之一將是確保我們賦予人工智慧的目標堅持下去。蘇茲克維解釋說，我們可以將一個目標程式設計到人工智慧之中，並通過暫時的監督學習來強化它。但正如我們培養人類智慧一樣，我們的影響是暫時的。 蘇茲克維說：「它會走向世界」。即便對於今天的人工智慧來說，在某種程度上也已經是這樣了，但對於明天的人工智慧來說更是如此。
他把強大的人工智慧比作一個即將上大學的 18 歲青少年。我們怎麼知道它已經理解了我們的教導？ 「會不會慢慢出現不理解，而且這種誤解會越來越嚴重？」 蘇茲克維問道。隨著世界的變化，人工智慧將其目標誤用到日益新穎的情況可能會導致分歧。或者人工智慧可能完美地掌握了它的任務後，卻發現這項任務跟自己的認知能力不搭。它可能會怨恨那些想要訓練它來治療疾病的人。蘇茲克維想像人工智慧也許會這麼想： 「他們希望我成為一名醫生，但我真的很想當一名 YouTuber。」
如果人工智慧非常擅長製作準確的世界模型的話，它們可能剛啟動就會注意到自己能夠立即做危險的事情。它們可能明白自己會因為存在風險而被紅隊測試和挑戰，所以刻意隱藏自己的全部能力。蘇茲克維說，當他們處於弱勢時，他們可能會採取一種方式，而當他們處於強勢時，他們可能又會採取另一種方式。我們甚至意識不到我們已經創造出了某種已經超越我們的東西，也不知道它打算用其超人的力量做些什麼。
這就是為什麼瞭解最龐大、最強大的人工智慧隱藏層裡面發生的事情如此緊迫的原因。蘇茲克維說，你希望能夠「指向某個概念」。你希望能夠引導人工智慧走向某些價值或價值族，並告訴它只要還存在就得忠實地去追求這些價值。但是，他承認，我們不知道該怎麼做；事實上，他當前戰略的一部分就包括開發有助於研究的人工智慧。如果我們想讓它進入到阿特曼和蘇茲克維想像的那個共用富足的世界的話，我們就必須弄清楚這一切。這就是為什麼對蘇茲克維來說，解決超級智慧問題是我們 300 萬年工具製造傳統的終極挑戰。他稱之為「人類的終極老闆」。
九
我最後一次見到阿特曼，是在新加坡浮爾頓酒店（The Fullerton Hotel）的大堂裡，我們坐下來進行了一次長談。當時已是上午比較晚的時候了，我們頭頂的拱形中庭已經開始灑落下熱帶的陽光。我想問他幾周前他與蘇茲克維均參與連署的一封公開信的事情，裡面說人工智慧會讓人類面臨滅絕的風險。
阿特曼可能很難確定這些更極端的關於人工智慧潛在危害的問題。他最近表示，大多數對人工智慧安全感興趣的人似乎只是把時間花在 Twitter 上表示他們真的擔心人工智慧的安全上。但他卻向全世界發出警告，人類這個物種可能會滅絕。他想到了什麼樣的場景？
阿特曼說：「首先，我認為不管發生災難的可能性是0.5%還是50%，我們都應該認真對待。 我沒有確切的數字，但我認為這個數更接近 0.5，而不是 50。」至於會是什麼樣的災難，他最擔心的似乎是人工智慧在設計和製造病原體方面變得非常擅長，他有他的理由：今年 6 月，麻省理工學院的人工智慧提出了四種可能引發大流行的病毒，然後指出了某項基因突變的研究這可以讓病毒更快地在一座城市傳播。大約在同一時間內，一群化學家將類似的人工智慧直接接入了機器人化學合成器，然後它自己就設計並合成出一個分子了。
阿特曼擔心，一些未校準的未來模型會設計出一種迅速傳播的病原體，在幾周內未被發現的情況下潛伏下來，並殺死一半的受害者。他擔心人工智慧有一天也可能會侵入核武器系統。 他說：「（危險的）事情有很多」，而這些只是我們能想像到的。
阿特曼說：「我刻意在林子裡生活很長一段時間。」但如果最糟糕的人工智慧未來成為現實，「任何防毒面具都幫不了你，不管你是誰。」
阿特曼告訴我，如果沒有像國際原子能機構這樣的機構對人工智慧進行全球監督，他並不認為人類「有一條通往長期幸福的道路」。在舊金山，阿加瓦爾建議要建立一種特殊許可證，以有了它才行運行任何足夠龐大的 GPU 叢集來訓練尖端的人工智慧，並在人工智慧做出異常行為時強制報告相關事件。其他專家則提出要為每一個高性能的人工智慧設置一個非網路化的「關閉」開關。非主流觀點甚至建議軍隊應該準備好對超級電腦進行空襲，以防它們不遵守規定。蘇茲克維認為，我們最終會希望用一支較小規模的人工智慧監督團隊持續地、永久地監視最龐大、最強大的人工智慧。
阿特曼並沒有天真到認為中國，或任何其他國家，會放棄對自家人工智慧系統的基本控制。但他希望他們願意以「狹隘的方式」合作，以避免毀滅世界。他告訴我，他虛擬出席北京的會議時也說過同樣的話。新技術的安全規則往往會逐漸積累，就像普通法一樣，為的是應對事故或不良行為者的惡作劇。真正強大的人工智慧系統最可怕的事情是，人類可能無法承受這種不斷試錯的過程。我們可能必須從一開始就制定出完全正確的規則。
幾年前，阿特曼透露他已制定一項令人不安的具體疏散計畫。他告訴《紐約客》，他準備了「來自以色列國防軍的槍支、黃金、碘化鉀、抗生素、電池、水、防毒面具，以及大蘇爾的一大片土地」，一旦人工智慧發動攻擊，他就刻意跑到那裡去避難。
他告訴我：「要是我沒這麼說就好了」。他說，他是一名業餘愛好等級的末日準備者，作為一名曾經的童子軍，「像許多小男孩一樣，非常喜歡救生類的東西。我可以在樹林裡生活很長一段時間。但如果最糟糕的人工智慧未來成為現實，任何防毒面具都幫不了你，不管你是誰。」
阿特曼和我聊了近一個小時，知道後來他必須趕去見新加坡總理。在那天晚上的晚些時候，他在乘飛機前往此次巡迴之旅的其中最後一站——雅加達——的途中打電話給我。我們開始討論人工智慧的最終遺產。當 ChatGPT 發表時，科技巨頭之間爆發了一場競賽，都想看看誰能與昔日最宏偉的革命性技術相提並論。比爾·蓋茨表示，ChatGPT 堪比個人電腦或網際網路一，是根本性的進步。谷歌首席執行長桑德爾·皮查伊（Sundar Pichai)表示，人工智慧為人類生活帶來的改變，甚至超過了電力或普羅米修士之火。
阿特曼本人也發表過類似的言論，但他告訴我，他自己也不能真正確定人工智慧會如何發展。他說： 「我只是要做這個東西。」他正在快速建造速度。 Altman 堅稱他們還沒有開始對 GPT-5 的訓練。但當我拜訪 OpenAI 總部時，他和他的研究人員已經用 10 種不同的方式明白不悟地向我表示，他們正在向規模之神祈禱。他們想要繼續做大，想看看這個範式會帶來什麼結果。畢竟，Google並沒有放慢腳步，而是在繼續前進。Google似乎有可能在幾個月內推出 GPT-4 的競爭對手 Gemini。 OpenAI 研究員尼克·萊德告訴我：「我們基本上一直在為跑步做準備」。
想到這麼一小群人就能撼動文明的支柱，實在是令人不安。說句公道話，就算阿特曼和他的團隊不加快開發通用人工智慧地步伐，其他人仍然會這樣做——其中有很多人來自矽谷，它們當中地很多人的價值觀和假設與指導Altman的價值觀和假設相似，儘管可能也有更糟糕的價值觀和假設。作為這項工作的領導者，阿特曼有很多值得推薦的地方：他非常聰明；與很多的同行相比，他對未來的思考更多，儘管未來充滿未知。他似乎真誠地想要為了更大的利益而發明一些東西。但當你應對的是如此極端的力量時，哪怕是最好的意圖也可能會出現嚴重偏差。
阿特曼關於人工智慧引發全球階級戰爭的可能性的觀點，或者試驗更多自主代理人工智慧的謹慎性，或者看到光明一面，令所有其他都黯然失色的全域智慧——這些都是他獨一無二的東西，如果他對即將發生的事情的預測是正確的話，那麼那些東西將對塑造我們所有人的生活方式產生巨大的影響。阿特曼設想要召喚出來的那種力量，都不應該由任何一個人、任何一家公司或位於加州某個山谷的一群公司來掌管。
人工智慧很可能成為通向新繁榮時代的橋樑，人類的痛苦可能因此大大減少。但要確保我們所有人都能分享它所帶來的利益並避免存在的風險，光靠公司的創始章程（尤其是已經證明具有靈活性的章程）是不夠的。這需要強有力的新政治的管理。
阿特曼已發出通知。他表示，他歡迎國家的約束和指導。但這並不重要；在民主國家，我們不需要他的許可。儘管存在諸多缺陷，但美國的政府體系讓我們能夠在技術發展方面擁有發言權（如果我們能找到的話）。在科技行業之外，人工智慧的資源正在發生代際性的重新分配，我認為公眾還沒有完全意識到正在發生的事情。一場爭奪人工智慧未來的全球競賽已經開始，而且基本上是在沒有監督或限制的情況下進行的。如果美國人民想對未來會是什麼樣子以及它到來的速度應該有多快有發言權，我們明智的做法是儘快地發表意見。
加入電腦王Facebook粉絲團