在Meta之前，許多玩家都想做出真正通往虛擬世界的「觸手」，它不僅是VR眼鏡，還有更加真實感的、超越視覺與聽覺的新方式：觸覺回饋手套！
從今年3月開始，Meta（原來的Facebook）的實境實驗室 （RL） 就開始了觸覺感知手套的新專案，直到昨天，Meta正式推出觸覺感知手套，並分享了關於軟體機器人、微流控處理器、手部追蹤、觸覺算繪和感知科學方面的工作進展。
這款吊足了8個月胃口的觸覺手套到底什麼樣？是否如他們所說，「這將是2030年的人與世界無接觸式互動的未來技術」？
Meta表示，目前這款手套可以在虛擬世界中再現現實生活中的一系列觸覺感覺，包括模擬人手撫摸材質紋理的感覺、壓力回饋以及振動回饋。
在展示圖中，可以看到這個手套設置了4條氣囊墊，每條約有15個，沿手指呈脊狀分佈。背部有白色的傳感器，可追蹤手指在空間中的移動情況。並且手套內外兩側也設置了多個傳感器，可動態捕捉佩戴者的手指彎曲狀態。
當戴上手套進入VR或AR體驗時，一個複雜的控制系統會調整氣囊的充氣水準，在手上的不同部位產生不同的壓力。比如，如果你用指尖觸摸一個虛擬物體，會感到物體壓迫手部皮膚，而如果你握著一個虛擬物體，手指的驅動器就會變硬，產生一種阻力感。這些感覺與視覺和聽覺感知共同作用，進而產生身體與虛擬物體接觸的「錯覺」。
這項技術到底新奇在何處？作為元宇宙的「一級玩家」，Meta的技術與其他玩家有何不同？
用觸覺手套「觸摸」數位世界
如何增強人與虛擬世界的聯繫？
Reality Labs 的負責人Sean Keller 說，他們一直在推進關於AR/VR 互動和感知輸入輸出的研究，為下一個運算時代構建傳播介面：即推動跨觸覺、肌電圖輸入、軟性機器人、設計、感知科學、應用機器學習等領域的研究。
自2014年收購Oculus VR公司以來，7年時間裡，Meta的實境實驗室（Reality Labs）一直在開發虛擬遊戲環境，同時也在開發更加適合遊戲環境的可穿戴設備。
最初是在Quest 上建立手部追蹤，進而操縱虛擬物體，但在實際體驗中並沒有建立手部感覺。
在 2015 年，實驗室又開發了第一個觸覺原型：一根具有執行器的手指，但劣勢明顯，缺少整體的手部感知。
在今年3月，實驗室又推出手腕腕帶，透過手部肌電（electromyography, EMG）感測器平移電機神經訊號，將手腕到手的動作指令轉化為數位指令，進而動態化地適應虛擬環境。這項技術大大推進了感知輸入的研究進程，但在感知互動上，腕部感知也對更加系統的「抓」、「握」等力度感知繞道而走。
而且，從眾多進場的玩家來看，模擬觸摸並非新研究，比如將 VR 與控制器振動結合起來，也能讓人們感覺像在觸摸物體。許多公司都在研究可穿戴設備，既可以追蹤使用者手部動作，也可以提供觸覺，比如溫度感知。但這並不是Meta實境實驗室的首要目標。
隨著眾玩家的介入，非核心技術一定會在第一時間讓短視玩家的技術壁壘蕩然無存。能複刻現實世界的觸覺感知才能掘出一條技術護城河。
目前觸覺手套解決的就是全方位觸覺感知的問題。
最開始，為了提供逼真的觸感，觸覺手套需要在整個手上安裝數百個執行器（微型電機），讓佩戴者的手部運動與觸摸虛擬物體時能夠協同反應。但是過多的的機械執行器會產生過多的熱量，既不舒適又太大、太硬、太貴太耗電。
那是否可以用柔軟、柔韌的驅動器代替機械驅動器？如果驅動器可以根據佩戴者的動作改變形狀，就可以假設執行器根本不存在，與手部融為一體。
新技術就採用了更加新穎的軟體機器人，用微型氣囊取代了笨重的機電元件。這種柔軟、輕便的觸覺手套，最明顯的優勢是解決了外部器件過於異化的問題，同時還明顯提高了 AR/VR 中雙向互動問題：説明電腦準確理解和反映佩戴者的手部動作，並為佩戴者再現一系列複雜、細微的感覺，例如壓力、紋理和振動來創造用手感受虛擬物體的效果。
為了控制這些新的軟執行器，他們正在構建世界上第一個高速微流體處理器：手套上的微型微流體晶片，透過告訴閥門何時開關，進而控制執行器的氣流。
實境實驗室的Andrew Stanley說到：「我們和其他微流體研究的不同之處在於，我們強調一切都非常輕巧、可穿戴和響應快速，在手上創造可信的觸覺，讓虛擬世界變得「有形」。」
觸覺算繪：做出對虛擬環境的準確反應
即使有一種控制氣流的方法，系統也需要知道何時何地提供正確的感覺。這需要先進的手部追蹤技術，使電腦能夠準確地知道手部在虛擬場景中的位置，人是否與虛擬物件接觸，以及手如何與物件互動。
因此，還需要一款為 AR/VR 介面構建觸覺算繪的軟體，可以根據手的位置和對虛擬環境的理解，幾乎即時地向手套上的執行器發送指令，包括紋理、重量和剛度等。
RL 軟體工程師 Forrest Smith 說，「人們通常將『算繪』視為視覺效果，我們還使用『算繪』來表示觸覺：首先獲取人與虛擬世界的互動狀態，並將其算繪到執行器，進而獲得相應的感覺。然後為了算繪與物件的即時互動，還需要模擬相應的物理狀態。」
強化學習研究工程師Justin Clark 指出：一個物理引擎（用於電玩中模擬物件的互動軟體）決定了手與虛擬環境互動的方向，幅度，力度。然後，觸覺算繪演算法將此資訊與觸覺設備的特性（例如其各個執行器的位置和屬性）相結合，以便向設備發送正確的指令。
軟體工程師 Andrew Doxon 補充道：「其中一個挑戰是構建適用於不同類型執行器並支援各種觸覺體驗的軟體。最終，我們還需要構建工具，讓人們能夠像創建視覺或音訊內容一樣創建觸覺內容。」
將聽覺、視覺和觸覺感知結合起來
隨著工作的進行，第三個挑戰出現了：為了使紋理和感覺發揮作用，他們必須以模仿現實的方式模擬觸摸物理，但不能完全重新創建現實世界的物理學。
因此，他們想到多感官整合：研究人類感官如何協同工作，進而建立我們對世界的整體理解。
UX 研究科學經理 Sophie Kim 曾說到，「我們的大腦非常擅長接收一點觸覺訊號、一點視覺訊號、一點聽覺訊號，然後將它們融合在一起，形成全方位的感覺，並使你的大腦確信有一個物體在你手上。」
RL 感知研究科學家 Jess Hartcher-O'Brien說到：如果我拿起一個物體，我已經對它的材料類型以及重量有了一些假設，然後我抓拿起它，觸覺系統會驗證這是什麼材料，大腦會辨識摩擦力和慣性；視覺系統會根據我手臂移動的方式，計算出這個物體的密度或重量。最終這些線索會綜合起來，形成關於這個物體的本體感覺。
這種思路套用在觸覺手套上，就是讓佩戴者的感知系統相信它正在感受物體的重量，通過用致動器輕輕拉動佩戴者手指的皮膚來模擬握持物體上的重力、拉力。但這一切都必須計算準確。
更舒適的材質
隨著程式的成熟，手套舒適度就要提上日程。如何將感測器和機器人執行器集成到手套本身材料中，其實是個非常大的挑戰。
比如，一副僵硬、沉重或其他不舒服的手套，或者一個很容易脫落的手套，會立即把佩戴者打出沉浸式體驗。因此，手套需要重量輕、柔軟且高度耐用。
RL 研究過程工程師 Katherine Healy 說，「矛盾是我們必須將所有的技術製成縮小版，這樣才能在有限的手套上安裝更多的東西，還要兼具美觀和舒適。」
這項工作涉及到材料科學的工作。材料小組一開始想到發明一種新型便宜的聚合物，既可以像塑膠和矽膠那樣舒適又可拉伸，又可以在分子水準上定制以產生新功能。這需要全新的製造技術來將這些新材料變成非常細的纖維，然後縫製成手套。
「但僅導電的紗線並不能滿足人們在 VR 中進行互動所需的所有功能，這就是為什麼我們探索如何在同一纖維或織物中構建多種功能——包括導電、電容和傳感功能，並制出更纖薄、更耐磨的手套外形，」RL 研究科學經理 Kristy Jost 補充道。
製造纖薄、輕便的觸覺手套是一項挑戰，定制這些手套以適應數十億人又是另一個挑戰。
這就是為什麼材料小組在探索製造技術，同時又保證每只手套可定制，以獲得最大的觸覺精度和舒適度。這樣做意味著開發設計和製造微型執行器的新方法，並創建新的編織和刺繡工藝以將它們精確地嵌入手套中。
「目前，手套可以由熟練的工程師和技術人員單獨製造，由他們製造子系統作為手套組裝配件，」Healy 說，「這個過程要盡可能使用半自動化工藝，因此還要發明新的製造工藝。」
創造未來：Meta才剛剛開始
「我相信，在即將到來的 AR/VR 和元宇宙人機互動革命中，觸覺將是至關重要的，」RL 研究科學經理 Nicholas Colonnese 說。
「當我們開始觸覺手套項目時，我們問自己是否可以構建一種可大規模生產、價格合理的消費設備，讓人們可以在任何地方體驗任何有形的介面，」Healy 說，「我們無法發明新材料、新感測器和執行器、新的集成方法和系統、新的算繪演算法、新的物理引擎，但我們已經開闢了一條可行的道路，可以讓我們到達那裡。」
目前，這項觸覺手套還未走出實驗室，團隊還想要弄清楚VR 觸控的真實程度如何。創造下一個人機互動時代的中心，觸覺研究，才剛剛開始。
資料來源：
- Meta’s sci-fi haptic glove prototype lets you feel VR objects using air pockets
- Inside Reality Labs Research: Meet the team that’s working to bring touch to the digital world