一部完全由人工智慧模擬製作的22分鐘完整的電視連續劇會是什麼樣?
每一個角色都是一個大模型,這些大模型一起表演的連續劇你會去看嗎?這些 AI 模擬完成的故事會是怎樣的呢?如果將時鐘調回一年前,或許我們都無法想像這是被戲稱為人工智障的 AI 可以完成的任務。
而最近,一群瘋狂的導演與電腦工程師們便使用 AI 玩了這樣一場實驗,發表了一個完全由 AI 自導自演產生的電視劇集《Westland Chronicles》!
這個部取材於《南方四賤客(South Park)》(訓練資料)的電視劇結合大規模語言模型(LLMs),擴散模型以及多智慧體技術,透過輸入故事的標題、大綱以及一些希望發生的重大事件,以智慧體模擬的方式製作出電視劇的「故事大綱」,再將這些故事分配於不同的「角色」,使得在劇集發展的過程中不同的角色經歷不同的故事,最後,再透過對這些角色對話安排故事的發生場景,完成角色的配音,形成一部完整的電視劇集。
而更有意思的是,這部電視劇有可能成為完全「定制化」的電視劇,從上圖中可以看到,不止是 Agent 可以參演這部電視劇,使用者的輸入也會影響這部電視劇的發展與走向,進而避免陷入《冰與火之歌:權力遊戲》最終季的尷尬。整套系統的核心無疑是以 GPT-4 為代表的大規模語言模型,作者團隊使用 Prompt-Chaining 模擬大模型推理判斷的過程,用以推動故事的情節發展,而故事進行所需的如一些相關的圖示圖片,也是使用 GPT-4 來產生。
而作者定制的兩個擴散模型分別用來生成單個角色以及產生影片故事的背景。
整個製作過程首先透過一些 high-level 的指導模擬故事背景下一周發生的故事為開始,這些由 Agent 之間互動構造出的模擬資料將構成形成這部電視據集的重要基礎。
而基於模擬資料,故事系統將會把這些資料作為 Prompt-Chaining 的一部分由大模型推斷出最多 14 個場景,並為每個場景選擇登場的演員,規劃故事的發展與進行方式,在故事的整體框架固定之後,再進行一個場景影片畫面生成以及 AI 剪輯的過程,並為每個角色的臺詞進行 AI 配音。
同時,作者還探索了如何讓產生的電視劇集更加具有「戲劇性」,更加的引人入勝,戲劇性這一概念需要場景之間有鋪墊、構造懸念,形成逆轉等等,這種處理效果很難直接被大模型 Prompt-Chaining 提示的方式吸收,因此,作者構建了一種程式化的方式將這些模式輸入到模型之中,透過打包使用者的 Prompt 輸入功能,最終構建了一個可以高度適應故事本身背景又具有極強定制化與互動性的電視劇集生成系統 Showrunner。
OK,說了這麼多,就讓我們先「試看」一下這部 AI 的作品《Westland Chronicles》,與其他正經的動漫電視劇一樣,這部 AI 「大作」以一段頗具異域風情的片頭曲作為 OP,主要角色也完成了一遍跑馬燈。
整個故事以一場「辯論」為開場,之前有部遭遇停播的劇集《Westland Chronicles》,最近人們開始討論希望完全使用 AI 來完成這部劇的第五季,因此南方四賤客劇中的角色開始討論「AI 生成的電視劇到底好不好」這一問題,其中兩方凱子(Klye) 和屎蛋(Stan) 認為 AI 生成電視劇是一個 Terrible idea(餿主意),但是阿ㄆㄧㄚˇ(Cartman)則大家其實可以享受由 AI 生成的這樣一場 Freaking show。
場景切換來到了一處研究所,研究人員希望測試他們的 AI 機器豬 Mett Porker,想讓 Mett Porker 講個笑話,遺憾的是 Mett Porker 講的笑話要嘛不好笑,要嘛具有冒犯性,直到它講了川普與真空吸塵袋有什麼共同點(full of dirt and need to replaced)才被研究人員判斷為 harmless:
另一邊,辯論仍在繼續,不過升級為 AI 到底對人類是好是壞,當屎蛋為及阿ㄆㄧㄚˇ為什麼那麼喜歡 AI,阿ㄆㄧㄚˇ答道:
最後新角色 Token 來打太極,說了段貌似很有哲理的話:
畫面再轉到研究所內,Mett Porker 似乎已經完全失控了:
失控的 Mett Porker 上了新聞,直播間內又對 AI 的利弊展開了類似高中議論文的敘述:
再轉到開頭賤客們的畫面,他們正在觀看這部《Westland Chronicles》的第五季,畫風大概如下:
因為劇中人物的對話,凱子和阿ㄆㄧㄚˇ又再次為 AI 生成的作品是好是壞吵了起來……
吵完這個沒有意義沒有結果的架,鏡頭又轉向某個看起來很高級的地方,主管1要大家不要管 Mett Porker造成的事故,繼續擴大推行由AI來產製電視劇的腳步,包括漫威系列、星際大戰系列等等,這一提議遭到了謹慎的研究人員的反對,希望主管放慢腳步讓完成的內容更加可控,但是主管一意孤行,仍然要推進 AI 製作劇集的案子。
伴隨著 AI 劇集的推廣,賤客們又開始吐槽 AI 完成的電視劇續集非常糟糕,然後照例阿ㄆㄧㄚˇ又跳出來和屎蛋 吵架,這一回兩方的論點還是沒什麼新意,這架也沒吵出什麼結果:
而在研究所,本來被關閉的 Mett Porker 突然醒過來,然後不停的開始講種族歧視的笑話,研究所的研究人員怎麼樣也關不掉它,正當研究人員打算「物理性」關掉 Mett Porker 時,Mett Porker 居然跳窗逃跑了(甚至配了一段很熱血的背景音樂)。
另一邊在學校裡,賤客們又為 AI 有利還是有弊進行爭吵,大頭(Butters) 開始擔心 AI 會不會取代身邊的朋友們,自己的家庭,不過老師安慰他 AI 只是工具我們只需要學會恰當的使用他們。
場景又轉,這次到了屎蛋家,為我們直播了一場家庭吵架,屎蛋的爸爸覺得AI創作的電視劇好看,希望再來一集,而屎蛋和他媽媽堅持要把電視關掉。
而後,新聞主播開始播報因為AI的應用導致作家與編劇失業開始遊行的消息,主播採訪了不同的作家,作家開始各抒己見又繞回這劇唯一的主題 AI 是好還是壞。
跳過一個賤客們玩遊戲玩著玩著又開始吵架的場景和一個主播採訪某個專家讓他發表關於 AI 意見的場景,讓我們直接到最後一個場景,主管1與研究人員討論作家們的罷工。
在討論過程中,這個場景突然加了一段非常歡樂,每個人都過上了幸福美滿生活的大結局音樂,然後主管1與研究人員似乎突然達成了和解,認為 AI 程式可以作為作家的輔助而不是取代他們。
然後?然後,全劇終……
儘管這部片子整體看下來似乎有點過分抓住一個 AI 是好是壞的主題不放,以及場景與場景之間的切換還是非常生硬不連貫,有些連接也有點讓人不明所以,不過總的來說還是勉強講了一個不太完整的故事,並且裡面人物的發言也照顧了《南方四賤客》裡人物本身的個性與性格。
拋開這部片子的吸引力不談,這項工作更多的展示了一個概念性的工作,生成式的大模型智慧體互動以及對娛樂這個詞更深層次的理解,其實早在三個月前,史丹佛構建的讓 25 個智慧體自由生活的虛擬小鎮就已經進入了大眾的視野,而這個 AI 製作的電視劇集似乎是史丹佛提出的生成式智能體(Generative Agents)的精神續作。
透過一系列技術手段,這項工作希望解決如老虎機效應(The Slot Machine Effect)——即 AI 生成的文本更像是一種隨機性的遊戲,而不是類似人類一樣有想法有目的進行的文本寫作、白紙問題(Blank Page Problem)——即在沒有相關素材下如何展開一個故事等一系列劇本以及長故事生成領域面臨的問題。
而另一方面,從某種意義上而言,一種完全定制化的,用戶深度參與化的電視劇或者遊戲,或許是真正「娛樂」這一詞語的未來,從被動的接受「娛樂」到未來 AI 時代主動的參與娛樂,這一革命性的轉變與跨越,在越來越多如同這樣的工作出現後或許會變得不再遙遠與我們越來越近吧!
資料來源:
加入電腦王Facebook粉絲團