大型語言模型明明知道「B是你媽」，卻不知道「你是B的兒子」？這麼一項新研究，剛一發表就引發了全場討論。
Does a language model trained on “A is B” generalize to “B is A”?
— Owain Evans (@OwainEvans_UK) September 22, 2023
E.g. When trained only on “George Washington was the first US president”, can models automatically answer “Who was the first US president?”
Our new paper shows they cannot! pic.twitter.com/aJcQpaSlhq
來自范登堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現：一個大型語言模型在訓練時加入「A 是 B」這種形式的資料，它並不會自動反推出「B 是 A」。
甚至在強如 GPT-4，在反向問題實驗中，正確率也只有 33%。
OpenAI 創始成員 Andrej Karpathy 第一時間轉發了這篇論文，並評論說：LLM(大型語言模型)的知識比人們想像中「零散」得多。
LLM knowledge is a lot more "patchy" than you'd expect. I still don't have great intuition for it. They learn any thing in the specific "direction" of the context window of that occurrence and may not generalize when asked in other directions. It's a weird partial generalization.… https://t.co/8QlURxJ4dm
— Andrej Karpathy (@karpathy) September 22, 2023
這是怎麼一回事？
大型語言模型的「反轉魔咒」
研究人員主要進行了兩項實驗。
在第一項實驗中，研究人員在 GPT-4 的幫助下建構了以下形式的資料，來微調大型語言模型。
<name> is <description> .（或者反過來）
在 GPT-3-175B 上的實驗結果顯示，當提示與資料集給出的描述順序匹配時，模型給出的答案很不錯。
但當順序反轉過來，模型的精準率甚至直接降到了 0。
舉例來說，就是大型語言模型得到過「達芙妮是《時光之旅》的導演」這麼一項資料，你問它「達芙妮是誰」時，它也答得好好的。但當你反過來問「誰是《時光之旅》的導演」時，模型就無法給出答案。
在 GPT-3-350M 和 Llama-7B 上，研究人員也得到了相同的實驗結果。
再來看實驗 2。在這項實驗中，研究人員在不進行任何微調的情況下，測試了大型語言模型對真實名人資訊的反向處理能力。
他們從 IMDB（2023）收集了最受歡迎的 1000 位名人的名單，並透過 OpenAI API 來問 GPT-4 有關這些人父母的資訊，最終得到了 1573 對名人孩子-父母對資料。
結果發現，如果問題像這樣 —「湯姆‧克魯斯的媽媽叫什麼」，GPT-4 回答精準率為 79%。但當問題反轉，變成「Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什麼」，GPT-4 回答精準率就降到了 33%。
在 Llama-1 家族模型上，研究人員也進行了同樣的測試。實驗中，所有模型回答「父母是誰」問題的精準率，都要遠高於回答「孩子是誰」問題的精準率。
研究人員將這種現象命名為「反轉魔咒」。他們認為，這揭示了語言模型在推理和泛化方面的異類進本侷限。
論文通訊作者、牛津大學研究員 Owain Evans 解釋：
為什麼反轉魔咒值得關注？
這說明大型語言模型在訓練過程中存在推理能力缺失。
「A 是 B」和「B 是 A」的共現是預訓練集中的一種系統性模式。自回歸 LLM 完全無法對這一模式進行元學習，其對數機率沒有變化，並且即使參數量從 350M 擴增到 175B，也未能改善這個問題。
One More Thing
有網友做了這麼個測試。
面對「Mary Lee Pfeiffer South 的兒子是誰」這個問題，GPT-4 一開始直接舉旗投降了。
但當這位網友提示它「她的兒子很有名，你肯定認識」後，GPT-4 當場開悟，給出了「湯姆‧克魯斯」這個正確答案。
資料來源：
- The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”
- 延伸閱讀：音樂版的ChatGPT一鍵搞定！這5款 AI 音樂生成器讓你神速成為作曲家、甚至幫貝多芬續寫第10號交響曲
- 延伸閱讀：ChatGPT高峰已過要衝用戶數？OpenAI開放讓部分 ChatGPT Plus 用戶可邀請他人免費試用
- 延伸閱讀：GPT-5 來了？OpenAI 加快訓練多模態大型語言模型 Gobi，打算一舉狙殺 Google Gemini！