超人類機器智能（SMI）[1]的發展可能是對人類持續存在的最大威脅。還有其他我認為更有可能發生的威脅（例如，具有潛伏期長和高致死率的工程化病毒），但這些威脅不太可能像SMI那樣摧毀宇宙中的每個人類。大多數其他重大威脅已經引起了廣泛的注意和擔憂。
[1]我更喜歡稱其為「機器智能」而不是「人工智慧」，因為人工智慧似乎意味著它不真實或不太好。當它發展起來時，就不會有任何人為的東西了。
非常難以確定這種情況何時會發生（稍後會有更多詳細說明），對於大多數在這個領域工作的人來說，仍然感覺這是遙遠的未來。但也很難相信，這種情況最終發生的可能性不大。
SMI不必是典型科幻小說中邪惡的版本才能殺死我們所有人。更可能的情境是，它根本不太在乎我們，但在努力實現某個其他目標的過程中（如果你仔細想想，大多數目標最終都會用到目前人類所使用的資源）將我們消滅。某些目標，如自我保護，顯然會從沒有人類的情況中獲益。我們洗手並不是因為我們主動積極想要對手上的細菌和病毒不利，而是因為我們不希望它們妨礙我們的計劃。
（順便說一句，尼克·博斯特羅姆（Nick Bostrom）的優秀著作《Superintelligence》是我看過的關於這個話題最好的作品。非常值得一讀。）
大多數機器智能開發涉及到一個「適應性功能」——程式嘗試最佳化的某件事。在某些時候，有人可能會嘗試給程式一個「生存和繁殖」的適應性功能。即使不是，這可能也是許多其他適應性功能的有用子目標。這對生物生命來說效果很好。不幸的是，我在史丹佛人工智慧實驗室學習時了解到，程式通常以無法預料的方式實現其適應性功能。
演化將繼續向前發展，如果人類不再是最適應的物種，我們可能會消失。從某種意義上說，這是系統按照設計運作的方式。但作為一個注定要生存和繁殖的人類，我覺得我們應該抵抗它。
我們如何在SMI的發展中生存下來？這也許是不可能的。對於費米悖論，我最喜歡的 4 個解釋之一是，生物智慧最終總是會創造機器智能，機器智能會消滅生物生命，然後由於某種原因決定讓自己無法被檢測到。
很難知道我們距離機器智能超越人類智慧有多近。機器智能的進步是一個雙指數函數；人類編寫的程式和運算能力以指數速度提升，自我學習/自我改進的軟體也會以指數速度自我改進。發展進程可能看起來相對緩慢，然後突然急劇上升——事情可能很快失控（也可能是更加漸進的，我們可能幾乎察覺不到它的發生）。
如前所述，它目前可能仍然有些遙遠，尤其是在不需要人類幫助就能建造殺手機器人的能力方面。但遞歸式的自我改善是一股強大的力量，因此很難堅定地認為機器智能距離我們十年或一百年遙遠。
我們也有一個壞習慣，當一個程式變得非常好時，就改變機器智能的定義，聲稱那個問題本來就不是那麼難（例如西洋棋、危險邊緣、自動駕駛汽車等）。這讓我們看起來似乎沒有在這方面取得任何進展。不可否認，狹義的機器智能與通用機器智能非常不同，但我仍然認為這是一個潛在的盲點。
很難看到過去40年的進步速度，然後想到從現在起40年後我們不會處於陷入某個瘋狂的境地。40年前我們有乒乓球。今天，我們擁有如此先進的虛擬實境，以至於很難確定它是虛擬的還是真實的，以及能在大多數遊戲中擊敗人類的電腦。
不過，公平地說，過去40年我們在機器智能看起來真正困難的部分——學習、創造力等方面取得了很小的進展。基本的搜尋配合大量運算能力的方法比預期的效果更好。
SMI 進展難以量化的另一個原因是，突發行為總是直覺上的一個挑戰。對當前機器智能的普遍批評——沒有人創造出接近人類創造力的東西，而這與任何類型的真正智慧有著不可分割的聯繫——這讓許多聰明人認為SMI還很遙遠。
但是，創造力以及我們所認為的人類智慧，很可能只是少數演算法在大量運算能力下的一種突發性質（實際上，許多受尊敬的新皮質區研究者認為所有智慧實際上只有一種演算法。我清楚地記得我的大學老師說，他對機器智能再次感到興奮的原因是大腦研究讓人認為只有一種演算法需要電腦科學家們去解決。）
因為我們無法以任何有意義的方式理解人類智慧是如何運作的，所以很難強有力地論斷我們離模仿它到底有多近或多遠。我們可能完全偏離軌道，或者可能只差一個演算法。
人類大腦與黑猩猩的大腦看起來並沒有太大不同，但卻以某種方式產生了截然不同的能力。我們批評當前的機器智能是廉價的伎倆，但也許我們自己的智慧只是一堆廉價伎倆的突發組合。
許多人似乎認為，如果SMI被開發出來，會非常危險，但認為這要嘛永遠不會發生，要嘛一定還遙遙無期。這是一種魯莽且危險的想法。
監管的必要
儘管最近有很多關於機器智能危險的討論，但關於我們應該採取哪些措施來減輕威脅的討論卻很少。
部分原因是，許多人對於他們相信神經元中的演算法永遠不會在矽晶片中複製而感到自豪，因此他們不認為這是一種潛在的威脅。另一部分原因是找出應對之道實在太難，而越思考就越覺得似乎不可能。還有一部分原因是超級智慧機器（SMI）可能仍然需要數十年的時間[2]，而我們現在有很多迫在眉睫的問題需要解決。
[2]如果你想要猜測何時會實現超級智慧，我會考慮運算能力和演算法發展這兩個方面。對於前者，假設人腦中有約1000個億神經元和100兆個突觸，平均每個神經元每秒觸發5次，然後考慮在當前計算軌跡上需要多長時間才能獲得具有足夠記憶體和浮點運算的機器來模擬這一過程。
對於演算法來說，神經網路和強化學習在輸入和輸出方面的表現都比我預期的要好（例如，為描述複雜場景的照片加入說明文字，在軟體以前從未見過的電玩遊戲中擊敗人類，而只需查看螢幕並存取控制項）。我總是對大多數人似乎對這些結果印象不深感到驚訝。無監督學習一直是一個薄弱點，這可能是複製人類智慧的關鍵部分。但我與的許多研究人員都對當前的工作表示樂觀，我沒有理由相信這超出了圖靈機的範疇。
但無論如何，我們最終都將面臨這種威脅，而在這之前我們有很多事情要做。因此，這裡提出一些建議。
美國政府以及其他所有政府都應該監管SMI的開發。在理想的情況下，監管應該減慢壞人的步伐，同時加快好人的進展──看起來首個開發出SMI的人將至關重要。
儘管我平常都認為科技被過度監管，但我認為一些監管是好事，我不希望生活在完全沒有監管的世界裡。而且我認為在人類的生存受到威脅時，監管絕對是一件好事。（順便說一句，當私人開發的知識對人類生命造成巨大風險時，對其進行分類是有先例的。SILEX可能是最著名的例子。）
顯而易見的是，最大的挑戰之一是美國在過去幾年打破了科技界的所有信任。我們需要一個新的機構來做到這一點。
我相信網路評論家會說我將要提出的一切都不夠具體，這絕對是事實。我的意思是這應該是一場對話的開始，而不是結束。
SMI 帶來的第一個嚴重危險可能涉及人類和 SMI 的合作。監管應該應對兩種情況，即惡意人類有意濫用機器智能，例如對全球金融市場或空中交通管制系統造成混亂，以及SMI被開發然後出現不可預測行為的「事故」情況。
具體而言，監管應該：
- 提供一個觀察進展的框架。這應該以兩種方式進行。第一個是在世界上尋找一個群體似乎正在受到重要機器智能的幫助或以某種方式訓練這種智慧的地方。
第二種是觀察從事SMI開發的公司。這些公司不應該被要求透露他們在做什麼的方式（儘管當政府對SMI真的嚴肅對待時，它們可能會超越任何私營公司的資源），但定期向監管機構展示他們當前的能力似乎是一個明智的想法。 - 考慮到錯誤可能造成的災難性後果，需要採取開發保障措施來降低事故風險。例如，超過某個檢查點後，我們可以要求只能在空隔離的電腦上進行開發，要求自我改進的軟體需要人類干預才能在每次迭代中前進，要求軟體的某些部分受到第三方程式碼審查等。我並不非常樂觀地認為，除了意外錯誤之外，這些方法對任何事情都有效——人類將永遠是策略中的最薄弱的那個環節（參見AI在盒中的思想實驗）。但至少感覺值得一試。
要能夠做到這一點——如果可能的話——將需要大量的技術研究和開發，我們應該現在就開始進行深入的工作。這項工作幾乎完全與今天進行的將分散的機器智能工作在一起的工作無關。
明顯但重要的一點是，要以這樣的方式編寫法規，就是提供保護，又對創新產生最小的阻力（儘管會有一些不可避免的成本）。 - 要求開發的第一個SMI在其操作規則中包含：a) 不能對人類造成任何直接或間接的傷害（即以撒·艾西莫夫的零法則），b) 應該檢測到其他正在開發的SMI，但除了檢測之外不採取任何行動，c) 除了b部分所要求的之外，不對世界產生任何影響。
目前我們不知道如何實現這些，所以在這方面，我們需要開始進行重大的技術研究和開發。 - 為遵守所有這些規則的團體提供大量的研發資金，尤其是進行安全研究的團體。
- 為我們如何與SMI和平共存創造一個安全而愉快的未來提供一個更長期的框架——最樂觀的版本似乎是某種形式的「人類/機器融合」。但我們今天不必解決這個問題。
監管將透過融資對SMI的發展產生影響——大多數風險投資公司和大型科技公司都不希望違反重要法律。大多數風險投資支持的初創公司和大公司應該會遵守這些規定。
雖然有可能是一個在車庫裡的獨行俠會是第一個弄清楚SMI的人，但更有可能的是一群非常聰明、擁有大量資源的人。至少在我目前所知的工作中，似乎很可能以某種方式涉及美國公司（儘管，正如我上面所說，我認為世界上每個政府都應該制定類似的法規）。
有些人擔心，監管將放緩美國的進展，並讓SMI先在其他國家得到發展。我認為一點點監管不太可能傷及美國公司目前擁有的巨大領先優勢和人才密度。
SMI有一個明顯的正面案例——它可能解決了人類面臨的許多嚴重問題——但在我看來，這不是預設的情況。另一個重大的好處是機器智能可能幫助我們弄清楚如何上傳自己，我們可以在電腦中永生。或者以某種方式，我們可以使SMI成為人類的後裔。
一般來說，技術的發展歷程一直都是減少隨機性，增加我們對世界的掌控。在下個世紀的某個時刻，我們將向系統注入有史以來最多的隨機性。
在政治中，我們通常會因為微小的分歧而爭執。但對比SMI將變成人類，或人類和外星人之間，這些差異顯得微不足道。我們應該能夠齊心協力，迅速制定監管策略。
資料來源：
加入電腦王Facebook粉絲團