要問最近 AI 圈哪個模型最火爆，你不得不把 OpenAI 推出的 ChatGPT 排在前面。自從發表以來，這個對話模型可謂是出盡風頭，很多人更是對其產生了一百個新玩法，讓它寫個程式碼、修改修改 bug、開發個小遊戲、解答一下物理知識、去參加一場考試…… 仿佛沒有它不會的。
「上週三才上線的 ChatGPT，短短幾天它的使用者已經突破 100 萬大關！」OpenAI 的 CEO Sam Altman 表示。
就連馬斯克都忍不住好奇的問了一句：「你們每次聊天的平均成本是多少？」
「每次聊天的平均費用可能只有個位數，我們試著找出更精確的方法以及正在嘗試如何把它最佳化。」Sam Altman 回答道。
由於 ChatGPT 在解決各種問題上的能力過於優秀，很多使用者都表示 ChatGPT 可以取代 Google 等搜尋引擎和 Stack Overflow 等程式設計問答社群了。
不過，雖然許多使用者對 ChatGPT 的功能印象深刻，但其他人也注意到它一直傾向於產生似是而非的錯誤答案。例如，要求 ChatGPT 寫一個公眾人物的傳記，它可能會很自信地插入不正確的傳記資料。再比如要求它解釋如何為特定功能編寫軟體程式，它同樣可以產生可信但最終不正確的程式碼。
ChatGPT 隨時都有可能出錯情況也促使 Stack Overflow 做出了一些反應。前兩天還有人信誓旦旦的表示 ChatGPT 可以取代 Stack Overflow 了，令人沒想到的是，今天 Stack Overflow 反手就把 ChatGPT 給封殺了。
這是怎麼回事，原來在試用了一段時間後，人們很快發現，雖然 ChatGPT 以接近人類的方式回答提示，但它給出的答案可能存在缺陷。OpenAI 也提到這一點，ChatGPT 有時會給出看似合理但不正確或荒謬的答案。
對於這一問題，Sam Altman 也表示：「我們正在試圖阻止 ChatGPT 隨機亂編，現階段讓其與當前技術保持平衡是很棘手的。隨著時間的推移，我們會根據使用者回饋來改進它，相信 ChatGPT 會變得更好。」
關於 Stack Overflow 為何禁用 ChatGPT，官方表示：「主要問題在於，雖然 ChatGPT 產生的答案錯誤率很高，但我們很難看出來它哪裡錯了。」這會造成問題回答魚目混珠的情況。
接下來，Stack Overflow 將制定關於使用此工具和其他類似工具的具體要求。
Stack Overflow 宣布暫時封禁 ChatGPT 是因為它產生的答案正確率太低，發表由 ChatGPT 創建的答案對網站和查詢正確答案的使用者來說是非常有害的。
雖然 ChatGPT 產生的答案有很高的錯誤率，但這些答案通常看起來不錯，而且產生答案的操作簡單容易，許多人願意嘗試使用 ChatGPT 創建答案，但卻沒有專業知識或不願意在發表之前驗證答案是否正確。
最近幾天，由於使用 ChatGPT 產生答案迅速簡單，所以 Stack Overflow 上湧現了大量該模型產生的答案。這些答案通常需要具備一些專業知識的人詳細閱讀才能確定答案實際上是錯誤的。這種情況讓 Stack Overflow 的品質管制遭到衝擊。
對於 Stack Overflow 封禁 ChatGPT，網友們紛紛表達了自己的看法。
有人表示贊成，認為 AI 短時間內根本不可能產生完全正確的答案：
有人表示問題出在 Stack Overflow 使用者在發表答案之前，沒有認真檢查和測試 ChatGPT 產生的程式碼，他們只是用 ChatGPT 快速產生答案並發表，導致答案中出現嚴重錯誤，甚至程式設計語言都是錯亂的。
有趣的是，Stack Overflow 宣布封禁 ChatGPT 之後，有網友「詢問」ChatGPT：「為什麼 Stack Overflow 禁止用 AI 產生答案？」
ChatGPT 的回答非常誠實：「因為 AI 產生的答案不總是準確或相關的，可能會導致 Stack Overflow 上混淆錯誤答案，誤導在尋求幫助的使用者。」並且還表態：「Stack Overflow 禁止用 AI 產生答案是合理的。」
然後該網友又追問 ChatGPT：「為什麼 Stack Overflow 允許用 AI 產生答案？」即使這只是個假設情況，但 ChatGPT 還是對答如流：
在 Stack Overflow 上允許 AI 產生的答案有一些潛在的好處。一方面，人工智慧可能會為使用者的問題提供更準確和詳細的答案。這對於人類專家可能難以回答的複雜技術問題特別有用。此外，AI 產生答案可以幫助減少人類專家的工作量，使他們能夠專注於更重要的任務。
然而，使用 AI 產生答案也有一些潛在的缺點需要考慮。例如，AI 產生的答案可能並不總是準確或有幫助的，而且人們可能擔心用於產生答案的演算法存在偏見。使用者可能也對使用 AI 產生答案有顧慮，更願意從人類專家那裡得到答案。
總的來說，是否允許 AI 在 Stack Overflow 上產生答案是一個複雜的決定，需要社群仔細考慮。
綜合上面回答，我們發現 ChatGPT 頗有自知之明，對 Stack Overflow 禁用 AI 產生答案的問題也闡述得有理有據。這說明從語言模型的角度講，ChatGPT 已經非常成熟，但產生知識型內容並不是一件簡單的事。
類似地，上個月 Meta 的模型 Galactica 上線僅兩天後就火速下架，因為該模型產生的知識型內容存在嚴重錯誤。現在 ChatGPT 被 Stack Overflow 禁用再度證明構建「知識型模型」是一個巨大的挑戰。
ChatGPT 的研究團隊此前表示將根據使用者回饋持續改進模型，但產生錯誤答案的現狀表明，讓語言模型產生正確的知識內容還有很長的路要走。
資料來源：
- https://twitter.com/sama
- Stack Overflow temporarily bans answers from OpenAI's ChatGPT chatbot
- Temporary policy: ChatGPT is banned