近日，人工智慧領域內的 「叛逆者」、紐約大學心理學和神經科學榮譽教授 Gary Marcus 發文稱，「我們需要停止擔心機器人接管世界，而是更多地考慮那些壞人可能會利用 LLMs 做什麼，以及我們可以做什麼來阻止他們。」
此前，Marcus 與馬斯克等上千人聯名呼籲 「所有人工智慧實驗室應立即暫停訓練比 GPT-4 更強大的大模型，這一時間至少為 6 個月」。
在 Marcus 看來，AI風險 ≠ AGI風險，儘管很多人將人工智慧的風險等同於超級智慧或 AGI 的風險，但並非只有超級智慧才能造成嚴重的問題。如 Bing 和 GPT-4 等不可靠但被廣泛部署的人工智慧，也會對現實世界造成不可忽視的風險。
人工智慧會殺死我們所有人嗎？我不知道，你也不知道。
但 Geoff Hinton（深度學習三巨頭之一）已經開始擔心了，我也是。上周，我透過小道消息（the grapevine）聽說了 Hinton 的擔憂，他也已公開承認了。
Hinton 於近日接受了 CBS News 的採訪，當被問及人工智慧是否可能「消滅人類」時，他表示，「這並非不可想像（It's not inconceivable）。我只想說這些。」
在放大他的擔憂後，我提出了一個思想實驗：
編碼速度更快、擁有有趣的聊天機器人，值得 1% 的風險來實現嗎？
很快，數以百計的人，甚至連馬斯克也加進來。
Hinton、馬斯克和我，甚至很少能在同一件事情上達成部分意見一致。馬斯克和我還在本周早些時候簽署了一封來自生命未來研究所（FLI）的公開信。
公開信指出，最近幾個月，人工智慧實驗室陷入了一場失控的競賽，他們沒有辦法理解、預測或可靠地控制自己創造的大模型。人類社會對其可能造成的影響也沒有做好準備。因此，Marcus 等人在公開信中呼籲，所有人工智慧實驗室應立刻暫停訓練比 GPT-4 更強大的人工智慧模型，這一時間至少為 6 個月。
自從我發表了這些推文後，我就一直受到反擊和質疑。一些人認為我誤解了 Hinton 的說法（鑒於我的獨立來源，我很確定我沒有）；另一些人則抱怨我關注了一系列錯誤的風險（要嘛過於關注短期的，要嘛過於關注長期的）。
一位傑出的業內同行寫信質問我：「這封公開信難道不會導致人們對即將到來的 AGI、超級智慧等產生毫無道理的恐懼嗎？」 一些人對我放大 Hinton 的擔憂感到非常驚訝，以至於在推特上冒出了一整條猜測我自己信念的話題：
事實上，我的信念並沒有改變。我仍然認為，大型語言模型（LLMs）與超級智慧/通用人工智慧（AGI）之間沒什麼關係；我與 Yann LeCun（深度學習三巨頭之一）一樣，仍然認為 LLMs 是通往 AGI 之路的一個 「匝道」。
我對最壞情況的設想也許與 Hinton 或馬斯克的設想不同；據我所知，他們的設想似乎主要圍繞著如果電腦迅速且徹底地實現自我改進會發生什麼，我認為這不是一種當前的可能性。
我要討論的問題是：儘管很多人將人工智慧的風險等同于超級智慧或 AGI 的風險，但並非只有超級智慧才能造成嚴重的問題。
就當前而言，我並不擔心 「AGI 風險」（我們無法控制的超級智慧型機器的風險），我擔心的是我所說的 「MAI 風險」--不可靠（如 Bing 和 GPT-4）但被廣泛部署的人工智慧--無論是從使用它的人的數量，還是從軟體對世界的連結來看。
某一家人工智慧公司剛剛籌集了 3.5 億美元來做這件事，允許 LLMs 存取幾乎所有的東西（旨在透過 LLMs 「增強你在世界任何軟體工具或 API 上的能力」，儘管它們明顯有幻覺和不可靠的傾向）。
很多普通人，也許智力高於平均水準，但不一定是天才等級的，在歷史上創造了各種問題；在許多方面，關鍵的變數不是智力，而是權力。原則上說，一個擁有核密碼的白癡可以毀滅世界，只需要不多的智力和不應有的存取權限。
如果 LLMs 可以從一個人手中騙到驗證碼，正如 OpenAI 最近觀察到的那樣，在一個壞人手中，這種能力可以製造各種混亂。當 LLMs 是實驗室內滿足人們好奇心的產物，只在該領域內為人所知時，它們不會構成什麼大問題。但現在，它們廣為人知，並引起了一些壞人的興趣，它們越來越多地被賦予與外部世界（包括人類）的聯繫，它們可以造成更大的破壞。
雖然人工智慧社群經常關注長期風險，但我並不是唯一擔心嚴重的、短期影響的人。歐洲刑警組織（Europol）發佈了一份報告，考慮了一些犯罪的可能性，發人省醒。
他們強調了 LLMs 生成錯誤資訊的能力。例如，網路釣魚和線上欺詐可以更快、更真實地產生，而且規模明顯擴大；LLMs 可以 「被濫用......誤導潛在的受害者相信一些犯罪分子」。
除了上述犯罪活動外，ChatGPT 的能力也適合宣傳和虛假資訊領域的一些潛在濫用案例。
許多人可能死亡；文明可能被徹底破壞。也許人類不會真的 「從地球上消失」，但事情確實會變得非常糟糕。
這一切的可能性有多大？我們沒有確切的答案。我說的 1% 也只是一個思想實驗，但它不是 0。
「這並非不可想像」，Hinton 是完全正確的，我認為它既適用於 Eliezer Yudkowsky 等人所擔心的一些長期情況，也適用於 Europol 和我所擔心的一些短期情況。
真正的問題是控制。正如 Hinton 擔心的那樣，如果我們失去對可以自我改進的機器的控制會發生什麼。我不知道我們什麼時候會有這樣的機器，但我知道我們對目前的人工智慧沒有足夠的控制，尤其是現在人們可以把它們與現實世界的軟體 API 連接起來。
我們需要停止擔心機器人接管世界，而是更多地考慮那些壞人可能會利用 LLMs 做什麼，以及如果有的話，我們可以做什麼來阻止他們。
然而，我們也需要將 LLMs 視為未來智慧的一點 「星星之火」，並捫心自問 「我們究竟要對未來的技術做些什麼，這些技術很可能更加難以控制」。
Hinton 在接受 CBS News 採訪時說，「我認為人們現在擔心這些問題是非常合理的，儘管它不會在未來一兩年內發生」，我深表贊同。
這不是一個非此即彼的情況；目前的技術已經帶來了巨大的風險，我們對此準備不足。隨著未來技術的發展，事情很可能變得更糟。批評人們關注 「錯誤的風險」 對任何人都沒有幫助；已經有足夠多的風險了。
所有人都要行動起來。
暫停 6 個月？反擊開始
在 Marcus 與馬斯克等上千人聯名呼籲至少暫停大模型研究 6 個月後，業內人士有贊同，有反對。其中，反對方就包括人工智慧知名學者吳恩達。
吳恩達認為，暫停研究比 GPT-4 更強大的人工智慧模型是 「一個可怕的想法」。
「我看到 GPT-4 在教育、醫療、食品等方面有許多新的應用，這將幫助許多人。改進 GPT-4 將有所幫助。我們需要平衡人工智慧正在創造的巨大價值與現實的風險。」
同時，吳恩達表示，除非政府介入，否則沒有現實的方法來實施暫停並阻止所有團隊擴大 LLMs 的規模。讓政府暫停他們不瞭解的新興技術是反競爭的，這會樹立一個可怕的先例，是可怕的創新政策。
另外，負責任的人工智慧很重要，人工智慧也有風險。媒體普遍認為，人工智慧公司正在瘋狂地產生不安全的程式碼，這不是事實。絕大多數（可悲的是，不是所有）人工智慧團隊都認真對待負責任的人工智慧和安全。
「6 個月的暫停期並不是一個實用的建議。為了促進人工智慧的安全，圍繞透明度和審計的法規將更加實用，並產生更大的影響。在推動技術發展的同時，讓我們也對安全進行更多的投資，而不是扼殺進步。」
在 Hacker News 上看到這樣一句話，「你無法阻止此類研究的發生。你只能阻止有道德的人做那種研究。我寧願讓有道德的人繼續去做這些研究。」
加入電腦王Facebook粉絲團