[新智元導(dǎo)讀]近日，Meta首次展示了秘密研發(fā)了七年的項(xiàng)目：‘氣動(dòng)觸覺(jué)手套’，頗具科幻魅力。這種觸覺(jué)手套可以通過(guò)氣囊讓你體驗(yàn)到抓取虛擬物體時(shí)的真實(shí)觸感。對(duì)于Meta來(lái)說(shuō)，這款手套和其他可穿戴技術(shù)，都將讓我們通往在VR和AR中實(shí)現(xiàn)互動(dòng)的未來(lái)。
想要在元宇宙里‘指點(diǎn)江山’嗎？就是‘頭號(hào)玩家’里主角戴著的那種。
當(dāng)然想了，可是，哪里能買(mǎi)到呢？
有一個(gè)好消息是，這樣的手套目前已經(jīng)初具雛形了。
想象一下，你正在和朋友的3D虛擬化身拼一個(gè)3D虛擬拼圖。
當(dāng)你從桌子上拿起一塊虛擬拼圖時(shí)，能真切地感受到拼圖就在手中，就是手指會(huì)停住的那種，效果大概就像下面這樣。
拿起來(lái)觀察的時(shí)候，不僅能夠看到，也能摸到拼圖邊緣的鋒利和表面的光滑。然后，把拼圖放到正確的位置時(shí)，‘咔噠’一下，嚴(yán)絲合縫。
再想象一下，你來(lái)到一家咖啡館‘掏出’一個(gè)虛擬的屏幕和鍵盤(pán)。
這個(gè)鍵盤(pán)可大可小，而且還能在‘紅軸’、‘青軸’等各種不同手感之間來(lái)回切換，雖然看起來(lái)其實(shí)就是在敲空氣。
是不是看起來(lái)非常像‘元宇宙’中的場(chǎng)景？
沒(méi)錯(cuò)，這就是Meta的現(xiàn)實(shí)實(shí)驗(yàn)室（Reality Labs， RL）在解決元宇宙中的一個(gè)核心挑戰(zhàn)——‘如何觸摸虛擬世界’上做出的一點(diǎn)點(diǎn)努力。
無(wú)非就是研發(fā)了7年，整了點(diǎn)新的材料、新的傳感器、新的執(zhí)行器、新的集成和系統(tǒng)方法、新的渲染算法以及新的物理引擎。
畢竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎么行。
用手套觸摸‘元宇宙’
現(xiàn)在的VR技術(shù)，雖然能通過(guò)手持設(shè)備操作虛擬的物體，但是用戶卻完全無(wú)法感受到它們。
這個(gè)時(shí)候，如果有一個(gè)時(shí)尚、舒適、實(shí)惠、耐用、柔軟、輕便的觸覺(jué)手套，就能解決在使用VR和AR時(shí)面臨的交互問(wèn)題了。
這個(gè)手套不僅可以準(zhǔn)確地將佩戴者的手部動(dòng)作反饋給計(jì)算機(jī)，而且還能重現(xiàn)一系列復(fù)雜、細(xì)微的感覺(jué)，如壓力、紋理和振動(dòng)，創(chuàng)造出用手感受虛擬物體的效果。
如果想還原真實(shí)的觸感，手套上就必須搭載數(shù)百個(gè)執(zhí)行器 （微小的馬達(dá)），并且能夠以一種協(xié)同運(yùn)動(dòng)的方式使佩戴者感覺(jué)他們正在觸摸一個(gè)虛擬物體。
然而，工作剛開(kāi)始兩年，團(tuán)隊(duì)就遇到了傳統(tǒng)電子和金屬器件的限制。
用現(xiàn)有的機(jī)械執(zhí)行器制作出的手套無(wú)法舒適地佩戴一整天。不僅僵硬、昂貴、耗電，而且無(wú)法呈現(xiàn)真實(shí)的觸覺(jué)感受。
Meta RL則希望可以通過(guò)全新的材料制作一種柔軟且有韌性的執(zhí)行器，而且還可以根據(jù)佩戴者的動(dòng)作改變形狀。
‘顯然，你不能在手上安放1000個(gè)電機(jī)和各種用來(lái)連通的電線，’Meta RL研究硬件工程總監(jiān)Tristan Trutna解釋道，‘即便能實(shí)現(xiàn)，從物理層面上來(lái)說(shuō)，也并不適合。手套的質(zhì)量和使用時(shí)產(chǎn)生的熱量都太大了?！?/p>
現(xiàn)實(shí)你也猜到了，這種執(zhí)行器并不存在。
于是，團(tuán)隊(duì)決定轉(zhuǎn)向軟體機(jī)器人和微流體的新興領(lǐng)域，這其中的技術(shù)分別常用于假肢和PoC診斷設(shè)備。
經(jīng)過(guò)一番研究，近兩年Meta RL在氣動(dòng)執(zhí)行器（使用氣壓來(lái)產(chǎn)生力）和電動(dòng)執(zhí)行器（在有電場(chǎng)的情況下改變形狀或大?。┓矫娑既〉昧酥卮笸黄?。
為了控制這些新的軟執(zhí)行器，Meta RL制造了世界上第一個(gè)高速微流體執(zhí)行器。通過(guò)手套上的一個(gè)微小的微流體芯片，告訴閥門(mén)應(yīng)該在何時(shí)以多大程度打開(kāi)和關(guān)閉，從而控制輸入執(zhí)行器的氣流。
Meta RL研究科學(xué)家Andrew Stanley指出，‘對(duì)于VR或AR的觸覺(jué)互動(dòng)來(lái)說(shuō)，執(zhí)行器需要非常迅速地對(duì)指尖進(jìn)行加壓，而利用空氣就可以做到?！?/p>
有了流體邏輯電路，Meta RL能夠通過(guò)減少控制大量執(zhí)行器所需的機(jī)電閥門(mén)的數(shù)量來(lái)消除系統(tǒng)中沉重的組件。
精確構(gòu)建畫(huà)面的觸覺(jué)‘渲染’
即使有了控制氣流的方法，手套也需要知道何時(shí)何地提供正確的感覺(jué)。
這就需要使計(jì)算機(jī)能夠準(zhǔn)確地知道你的手在虛擬場(chǎng)景中的位置，你是否接觸到了虛擬物體，以及你的手是如何與物體互動(dòng)的。
為此，Meta RL推出了一種新的渲染軟件，能夠根據(jù)手的位置和對(duì)虛擬環(huán)境的理解，包括其中虛擬物體的紋理、重量和硬度，在準(zhǔn)確的時(shí)間向手上的執(zhí)行器發(fā)送正確的指令。
‘通常認(rèn)為“渲染”是指視覺(jué)效果’，Meta RL軟件工程師Forrest Smith說(shuō)，‘我們也用“渲染”這個(gè)詞來(lái)形容觸覺(jué)。我們?cè)谶@里做的是把虛擬世界的狀態(tài)和你與它的互動(dòng)，渲染到執(zhí)行器上，這樣你就能感受到相應(yīng)的感覺(jué)?！?/p>
其中，物理引擎（用于模擬視頻游戲中物體互動(dòng)的軟件）決定了你的手在與虛擬物體互動(dòng)時(shí)應(yīng)該接受的力的方向、大小和位置。
而觸覺(jué)渲染算法將這些信息與觸覺(jué)設(shè)備的特性（如各個(gè)執(zhí)行器的位置和屬性）相結(jié)合，從而能向設(shè)備發(fā)送正確的指令。
結(jié)合聽(tīng)覺(jué)、視覺(jué)和觸覺(jué)的反饋
隨著團(tuán)隊(duì)的工作進(jìn)入第四年，第三個(gè)挑戰(zhàn)出現(xiàn)了。
為了使觸覺(jué)發(fā)揮作用，Meta RL必須模仿現(xiàn)實(shí)來(lái)建立物理模型，但又不能完全重現(xiàn)現(xiàn)實(shí)世界的物理學(xué)。
雖然觸覺(jué)手套可以提供有價(jià)值的反饋，但它們不能完美地阻止你的手指在試圖抓住一個(gè)虛擬物體時(shí)閉合，也不能阻止你的手在虛擬桌子上停留時(shí)穿過(guò)桌子。
這怎么解決呢？
于是，他們又轉(zhuǎn)向了感知科學(xué)和多感官整合，去研究人類(lèi)的感官如何共同作用以建立我們對(duì)世界的理解。
佩戴者體驗(yàn)研究科學(xué)經(jīng)理Sophie Kim解釋了該團(tuán)隊(duì)是如何利用人類(lèi)的感知能力來(lái)創(chuàng)造足以令人信服的感覺(jué)的。
她說(shuō)：‘我們的大腦非常善于利用一點(diǎn)點(diǎn)觸覺(jué)信號(hào)、一點(diǎn)點(diǎn)視覺(jué)信號(hào)、一點(diǎn)點(diǎn)聽(tīng)覺(jué)信號(hào)，并將它們?nèi)诤显谝黄穑嬲惺艿竭@種感覺(jué)，并確信有一個(gè)物體存在于你的手中?！?/p>
Meta RL感知研究科學(xué)家Jess Hartcher-O‘Brien描述了在VR和AR中的感官整合可能是怎樣一種感覺(jué)。
‘例如，當(dāng)我準(zhǔn)備拿起一個(gè)立方體時(shí)，會(huì)對(duì)它的材料類(lèi)型和它可能的重量有一個(gè)假設(shè)。’
‘在觸碰到這個(gè)立方體的一瞬間，我就會(huì)把關(guān)于它的材料屬性的視覺(jué)線索和觸覺(jué)反饋結(jié)合在一起?！?/p>
‘當(dāng)我去操作這個(gè)物體時(shí)，我的大腦會(huì)識(shí)別摩擦力和慣性，并能計(jì)算出這個(gè)物體的密度或重量?！?/p>
‘我的視覺(jué)系統(tǒng)正在根據(jù)我的手臂如何移動(dòng)而更新。感覺(jué)告訴我，我的手臂在空間中的位置，它的移動(dòng)速度，以及我的肌肉正在做什么?！?/p>
而這就是觸覺(jué)手套的神奇之處了，它甚至可以讓佩戴者的感知系統(tǒng)相信自己正在感受一個(gè)物體的重量。
佩戴者手指的皮膚會(huì)被執(zhí)行器輕輕地拉動(dòng)，從而模仿重力對(duì)所持物體的拉扯，當(dāng)然，這一切都必須在時(shí)間上完全同步。
在2017年底的一項(xiàng)實(shí)驗(yàn)中，Meta RL使用指尖上的單一振動(dòng)觸覺(jué)設(shè)備，在VR中的一系列不同材料制成的虛擬球體（木頭、大理石、泡沫）從空中落下時(shí)提供觸覺(jué)反饋。
當(dāng)每個(gè)球體落到受試者的虛擬手指尖上時(shí)，都有獨(dú)特的視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)反饋提示。
Keller表示，‘所有的時(shí)間和工程對(duì)這種音頻-視覺(jué)-觸覺(jué)體驗(yàn)來(lái)說(shuō)都是恰到好處的。你可以感覺(jué)到這是一塊泡沫、木材或大理石。你可以體驗(yàn)到這些材料在落下時(shí)輕輕地打在你的手指上的感覺(jué)?！?/p>
發(fā)明未來(lái)：Meta RL剛剛開(kāi)始
在VR和AR中提供可信的觸覺(jué)體驗(yàn)所需的一些技術(shù)目前還不存在，但Meta RL仍在不斷推動(dòng)技術(shù)水平的提高，創(chuàng)造新的突破，使觸覺(jué)手套成為現(xiàn)實(shí)。
‘我相信，在即將到來(lái)的AR/VR和元宇宙的人機(jī)交互革命中，觸覺(jué)將是至關(guān)重要的’，Meta RL Research科學(xué)經(jīng)理Nicholas Colonnese說(shuō)，‘在未來(lái)，我們可能會(huì)呈現(xiàn)一個(gè)“觸覺(jué)點(diǎn)擊”，在你向元空間的朋友打招呼時(shí)分享定制的“觸覺(jué)握手”?！?/p>
Meta RL的觸覺(jué)手套項(xiàng)目開(kāi)始時(shí)是一個(gè)‘登月項(xiàng)目’，但隨著團(tuán)隊(duì)成功創(chuàng)新并完成了幾十個(gè)學(xué)科的研究飛躍，它的可行性越來(lái)越高。
‘當(dāng)我們開(kāi)始觸覺(jué)手套項(xiàng)目時(shí)，我們問(wèn)自己，我們是否能建立一個(gè)可大規(guī)模生產(chǎn)的、消費(fèi)者負(fù)擔(dān)得起的消費(fèi)設(shè)備’，Keller說(shuō)。
‘當(dāng)時(shí)，我們認(rèn)為做不到，因?yàn)闆](méi)有新的材料、新的傳感器和執(zhí)行器、新的集成和系統(tǒng)方法、新的渲染算法、新的物理引擎，什么都沒(méi)有，這根本不可能，但時(shí)至今日，我們可以很驕傲地說(shuō)，我們已經(jīng)開(kāi)辟了一條可行的道路，可以讓我們達(dá)到目標(biāo)?！?/p>
時(shí)間過(guò)去了七年，而對(duì)于他們來(lái)說(shuō)，這才剛剛開(kāi)始。
‘Meta現(xiàn)實(shí)實(shí)驗(yàn)室是一個(gè)創(chuàng)新的鍛造廠’，Keller補(bǔ)充說(shuō)，‘你可以看到你創(chuàng)造的這些東西是如何實(shí)際影響人們和人們的生活的，這是非常有意義的。’