元宇宙實在太熱門了,以至於還沒來得及認真聊一聊技術本身,各種炒房、融資、付費……就紛至遝來。
雖然大受震撼,但關於元宇宙的技術體系,其實還有很多值得探討的地方。
用美國科技評論家Benedict Evans的話來說,「元宇宙」這個新詞,描述了一組明顯不相關的趨勢,將它們概念化並捆綁成一個單一的敘事。元宇宙概念上市公司 Roblox 的定義中,元宇宙應具備身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明等八大要素。每一種還包含著一連串解釋。
模糊且抽象的概念,讓元宇宙看起來無所不包,又說不清楚,給渾水摸魚留下了餘地。不過,也有不少技術方向是扎扎實實、值得長期投入、對人類社會來說意義非凡的。
所以,我們決定還是認真的聊一聊支撐元宇宙的技術本身。
元宇宙到底是什麼?一個共識是,足夠真實的「虛擬世界」。
無論是1981年美國數學家和電腦專家弗諾‧文奇在小說《真名實姓》中構想的虛擬世界,還是普遍認為1992年「元宇宙」一詞誕生的科幻小說《潰雪》中,與真實世界平行的虛擬空間;2003年宇宙學家保羅‧戴維斯(Paul Davies)提出的「無限的虛擬多元宇宙塔」,抑或是Facebook的祖克伯計畫用VR/AR複刻的數位場景,本質上都指向了——模擬現實。
「矽谷鋼鐵人」伊隆‧馬斯克(Elon Musk)也在一檔Podcast節目中提出,未來遊戲將與現實無法區分,人類將處於模擬之中,你不妨稱它們為現實,或者也可以稱它們為多元宇宙。
元宇宙的載體與內容,最終都要能夠模擬現實。那麼,有哪些感官需要被模擬呢?
佛教認為,人有六根,即:眼、耳、鼻、舌、身、意,這些被認為是心與物的媒介的根本。
那麼我們不妨從這些感官版圖中,聊聊元宇宙來臨時,人如何重新認知世界,有哪些技術路徑是值得期待的。
元宇宙之眼
元宇宙的熱度,許多科技企業都想蹭,但沒有一個像Facebook這麼徹底,直接連名字都改成了Meta「元」。這種孤注一擲的操作,很大程度上源自於Facebook在AR和VR上押下了很大的賭注,至少在視覺技術上模擬人類之眼,提供沉浸式的體驗,無人可出其右。
在元宇宙所涵蓋的諸多新技術中,VR/AR是被認為短期內能夠成立並見到回報的。小說《潰雪》中也需要首先「戴上耳機和目鏡」才能以虛擬分身的方式進入虛擬世界。
模擬視覺,帶來的「真實感」體驗,是元宇宙體驗的第一道關卡,而Facebook(現更名為Meta)則獨擅戰場。
關於Facebook透過收購Oculus等公司,在AR / VR技術上投入大量資金的歷史,我們就不贅述了。Meta在「模擬視覺」上的差異化優勢在於:
首先,成本足夠低。元宇宙的困境之一是VR 頭戴顯示器的滲透率不足,能破解這一問題的廠商自然能夠率先拿到門票。
Meta在全球有五個研究機構在做VR/AR的研發。從目前的市場表現來看,Meta旗下的Oculus已經成為頭號選擇,其中Oculus Quest 2更是在今年迎來了一波銷售熱潮,在預算可以接受的同時,支援Steam 平臺的絕大多數VR應用,這也使得Meta能快速進入規模化增長空間。
其次,硬體的終極價值要靠體驗來兌現,這要求VR/AR廠商能夠建構起足夠龐大的內容和社群平臺,為使用者提供和現實中別無二致的工作、娛樂和生活體驗,目前只有Meta能夠將社群優勢與VR技術優勢疊加在一起,產生1+1>2的效果。比如Facebook的虛擬會議,就用了兩年多時間,讓多達16人(以化身為代表)一起坐在虛擬會議桌旁開會。此前,Meta還展現了一些全新的技術硬體,比如AR眼鏡Horizon Home,允許使用者邀請他們的朋友進行虛擬社群聚會,並且隨時隨地可穿戴,讓虛擬實境的互動無處不在。
硬體+生態這條路背後,是沉澱多年的技術優勢。比如強大的人工智慧模型,來理解使用者手勢指令的上下文邏輯,最終確定需要執行的操作;再比如情境感知,理想情況下,使用者只需要按一下一次,即可執行任何想做的事情;提升佩戴舒適度,也需要降低VR頭戴顯示器的「運動病」發生機率,增加AR可穿戴設備的柔軟度和舒適度,讓它們盡可能被全天候使用。
模擬視覺的軟硬體能力,是一項艱巨的長期任務,還有多年的研究要做。短期內,元宇宙還是聚焦於VR/AR。更早播下種子的Meta,確實有可能率先看到成果,可以從元宇宙上賺到錢,這也就不難理解它孤注一擲擁抱元宇宙的決心了。
元宇宙之體
要讓使用者在數位世界裡有更豐富的感覺,來自身體的觸覺互動和動態感知,是元宇宙的核心挑戰之一。
最近,Meta的Reality Labs Research實驗室,就發布了兩個重要的產品。
一是可穿戴手套,可以在虛擬的 VR 空間感受真實的觸覺。
想像一下,當你在元宇宙咖啡館裡工作時,虛擬鍵盤每一次擊鍵的觸感都能被完美感受;在元宇宙遊戲中,你可以感受到木質桌面的粗糙和書本表面的光滑……是不是體驗感會大大提升?是不是比在VR裡簡單地看到自己拿起來了更有趣味、獲得更多資訊?
而Meta這次發布的觸覺手套,就在手套上安裝數百個氣動裝置,遍布整個手部,可以在佩戴者做出觸摸動作時協同改變形狀,透過氣壓來呈現逼真的觸覺感覺。
這種裝置使得研究人員不得不轉向軟體機器人等新興領域,來規避傳統機械耗電、僵硬、體積過大等問題。
同時,為了精確地知道使用者的手在虛擬場景中的位置,是否與虛擬物體接觸,產生的作用力多大,還需要研發新型的觸覺算繪系統,根據手的位置、對虛擬環境的理解、虛擬物品的重量紋理和剛度等等,向手套的氣動裝置發送正確的指令,需要構建相應的軟體和演算法建模。
為了達到真實的觸覺模擬,2017年Reality Labs Research團隊就開始嘗試,將不同材料(木材、大理石、泡沫)製成的虛擬球體與單個振動觸覺設備建立關聯線索。
除了手部追蹤,身體動態也能給虛擬世界增加不少體驗感。如何讓身體資料能夠輸入系統並被模擬呢?
Meta的研究團隊將手腕智慧設備與AI相結合,進而感知動態環境。相比手套、VR、語音等輸入方式,手腕設備更適合全天無感知佩戴及互動。但技術挑戰在於,如何將運動訊號準確地轉換為數位指令。
Facebook在2019年收購CTRL實驗室使用感測器,嘗試透過神經訊號讓使用者直接控制機器。透過手腕的肌電圖訊號,系統可以理解哪怕一毫米的手指運動,進而轉換為數位命令發送到設備上,實現數位互動與控制。
舉個例子,你可以在遠端控制虛擬物件,仿佛擁有了原力一般的超能力;未來還可以無需鍵盤,在桌子或膝蓋上打字就能輸入;當你穿著鞋子離開家,設備就會詢問你是否需要播放音樂……
人類在嬰兒時如何感知世界,靠的正是一次次抓握,一次次爬行。身體知覺的模擬,能夠讓我們在虛擬空間裡和世界再次對話、重新成長。
元宇宙之聲
你戴著一副AR眼鏡和一個柔軟的腕帶,決定去元宇宙裡的虛擬會議室開個會,突然發現,設備裡傳來了嘈雜的音樂和其他人討論的聲音,讓你很難集中注意力。
事實上,大腦不會對耳朵傳來的所有聲音照單全收,我們總是會對一些特殊詞彙(比如自己的名字)特別敏感,在有必要時也能主動遮罩外界雜訊。如果要在虛擬世界裡複製真實的聲音體驗,不僅需要聲學設備本身的高性能,也要對聲音如何與真實環境相互作用進行建模。
就拿Meta的研究方向來說,在3D列印眼鏡上使用多個麥克風,捕捉周圍的聲音,然後透過眼動追蹤設備,感知頭部和眼睛運動的軌跡,AI系統可以找出你最感興趣的聲音中的哪一個,增強正確的聲音。
這樣在嘈雜的虛擬會議室或咖啡廳裡對話,也不必特意提高聲音才能被聽到。
當使用者的眼神轉向旁白的電視或影片時,裡面正在播放的內容又會變得更響亮,身邊其他聲音則變得更安靜。
除了模擬大腦認知,空間音訊技術和聲學模擬技術,能夠模仿現實生活中不同方向來源的聲音,營造一個更加真實的虛擬空間,使用者使用Oculus Quest等設備在空間中移動時,設備模擬出的聲音和房間裡真實的聽覺效果幾乎沒有差別。
舉個例子,當大家都在使用Meta的元宇宙會議系統時,麥克風陣列可以捕捉各個角度的聲音並傳送到耳機裡,使用者可以很自然地判斷發言者所在的位置並轉向TA,這種體驗感簡直就像自己真的在房間裡一樣。
再想像得多一點,空間音訊結合即時動畫化的超逼真虛擬人,可能會徹底改變視訊通話的感覺,讓遠端社群不再是線下的「替代品」,真的能夠提升溝通效率。
聽覺模擬,不僅改變著元宇宙中的溝通方式,也可能提升聽覺障礙人群的社群參與度。
如果說元宇宙和現實世界相比有什麼吸引力,那麼降低生理性差別及其限制,或許會讓許多人都感覺到更加幸福。
元宇宙之意識
你可能會問,除了眼耳手,還有哪些方式進入元宇宙?在1981年出版的小說《真名實姓》中,美國數學家和電腦專家弗諾‧文奇教授,就提出了透過腦機介面進入並獲得感官體驗的虛擬世界。
意識進入人造現實,這不正是駭客任務中「缸中之腦」的情節嗎?但要實現這一點並沒有那麼簡單。
事實上,Meta的Facebook Reality Labs也在進行腦機介面(BCI)的相關研究,希望給VR系統和AR眼鏡提供一種全新的對話模式,但至今並沒有可規模化商用的案例。至於伊隆馬斯克那種直接為大腦做手術的介入式方案就更加遙遠了。
腦機介面BCI的問題主要在於,非侵入性的、基於腦電圖EEG的互動速度非常慢,有時患者需要70分鐘才能輸入一個句子,並不具備使用價值。此外,現有腦機周邊設備的體積也很大,無法長時間佩戴。
目前,Meta的研究團隊希望測量血管和神經元的運動,創建小型、方便的BCI設備,進而説明實現無聲語音輸入。
進步總是發生在一點一滴地寸進當中,哪個科技公司更瞭解這項技術,就距離元宇宙更進了一步。
元宇宙之味
元宇宙技術體系中,Meta沒有提到的感覺是氣味和味道。至少目前在VR/AR中,鼻子和舌頭似乎都有點不太必要存在——但視覺、聽覺、觸覺一旦得到完善,就需要開拓其他感官了。
我們常說「聞香識人」,真實世界裡人的氣味、空間的氣味、食物的味道,都是自然界提供給我們的重要資訊。沒有它們,VR將永遠是對現實的乏味模仿。
但嗅覺和味覺所代表的化學感官,數位化的嘗試出人意料地緩慢。
一方面,源自現實的技術挑戰。嗅覺是與杏仁核直接相關的感覺,這也為什麼氣味可以喚起強烈的情感記憶,但將嗅覺整合到VR中,在味道調製上選擇十分有限,無法模擬出現實世界中的數千種氣味。同時也為硬體設計提出了極大挑戰。
2015年在Kickstarter上推出的FeelReal面具,聲稱可以發出氣味,並製造出冷熱霧氣的感覺。但這款面具並不成功,The Verge將佩戴FeelReal口罩描述為「在炎熱的天氣裡將空氣清新劑放入車裡,把臉埋在汽車的塑膠座椅上,然後跟隨司機經歷一輪高速急轉彎」——想想都要窒息了。
曾有日本實驗室提出了一個原型嗅覺機,可以掛住Oculus Rift上,放在鼻子底下,透過音波將液體霧化,向上飄入鼻孔。但這一設計無法讓機器在不應該聞到的時候停止釋放氣體。
味覺感官也同樣,曾有日本研究人員開發了一種食品模擬器,讓使用者有咀嚼的感覺,配合適當的噪音(比如吃餅乾的咖嚓聲),來產生味覺。但這種味道模擬的工作推進緩慢,需要大量的味覺資料,食物風味來自嗅覺,食物質地則依賴觸覺,實現起來十分困難。
另外,消費者的需求不強烈也是延緩商業化的重要原因。
相比技術挑戰,體驗數位化嗅覺與味覺的心理障礙可能更高。人類進化得來的生理機制是,專注於其他事情時,往往無法檢測到香味,即使感受到化學感官刺激,也更傾向於認為其中包含著危險。
曾有一個實驗讓參與者透過VR感知到虛擬廚房裡的尿液氣味,結果受試者經常錯誤地將尿液氣味誤認為是其他味道,比如魚或者垃圾、屍臭味等等,甚至有人認為這是一種令人愉快的氣味,因為它喚起了好的回憶。
總而言之,人類對特定氣味和味道的反應,依賴於背景或以前的經歷,相比視覺線索,化學感知的商業化價值並不明顯。
這也是為什麼在人機互動、多感官融合領域,對化學感官的研究普遍會被忽視。看來要在元宇宙辦公室裡和同事們一起喝虛擬咖啡,還有好長一段路要走了。
寫在最後
說到這裡,會發現關於元宇宙想要模擬現實中的人類感知,還需要較長的時間。在技術與商業上都相對成熟的只有Meta長期押注的VR/AR 視覺體驗。
但是,任何單一技術的短板都有可能限制元宇宙「真實」的效果,給其發展帶來不確定性。
但換個角度,眼耳鼻舌身意的每一項感官模擬,都能帶來建構虛擬世界之外的奇效。比如説明身體殘障人士重新聽到視覺、嘗到味道、聞到花香;再比如更輕盈、精準度高的可穿戴設備,為智慧消費硬體市場帶來變化。
從這個角度看,最終元宇宙是否實現並不重要,至少在向目標前進的過程中,網際網路乃至整個世界,都已經變得更好了。而科技巨頭或初創企業想要抓住元宇宙的機會,唯一的選擇只能是走在堅實的技術道路上。
- 本文授權轉載自腦極體