隨著人形機(jī)器人技術(shù)的迅猛發(fā)展，如何有效獲取高質(zhì)量的操作數(shù)據(jù)成為核心挑戰(zhàn)。鑒于人類操作行為的復(fù)雜性和多樣性，如何從真實(shí)世界中精準(zhǔn)捕捉手與物體交互的完整狀態(tài)，成為推動(dòng)人形機(jī)器人操作技能學(xué)習(xí)的關(guān)鍵所在。面對(duì)這一挑戰(zhàn)，穹徹智能攜手上海交通大學(xué)盧策吾和劉景全團(tuán)隊(duì)，創(chuàng)新性地提出了名為 ViTaM 的視覺-觸覺聯(lián)合記錄和追蹤系統(tǒng)。該系統(tǒng)包括高密度可伸縮觸覺手套和基于視覺-觸覺的聯(lián)合學(xué)習(xí)框架，不僅在觸覺手套的設(shè)計(jì)和制造上實(shí)現(xiàn)了技術(shù)突破，更通過視覺與觸覺的深度融合，為理解手物交互過程狀態(tài)提供了全新的視角和強(qiáng)大工具。

在人形機(jī)器人操作領(lǐng)域，有一個(gè)極具價(jià)值的問題：鑒于操作數(shù)據(jù)在人形操作技能學(xué)習(xí)中的重要性，如何有效地從現(xiàn)實(shí)世界中獲取操作數(shù)據(jù)的完整狀態(tài)？

如果可以，那考慮到人類龐大規(guī)模的人口和進(jìn)行復(fù)雜操作的簡(jiǎn)單直觀性與可擴(kuò)展性，人形機(jī)器人再也不用擔(dān)心沒有高質(zhì)量的操作數(shù)據(jù)資源了。

穹徹智能攜手上海交通大學(xué)盧策吾和劉景全團(tuán)隊(duì)意識(shí)到，分布式觸覺技術(shù)對(duì)于重建完整人類操作至關(guān)重要，當(dāng)操作被遮擋時(shí)，觸覺可以作為視覺的有效補(bǔ)充，從而一同還原出操作區(qū)域的形變狀態(tài)、接觸力位點(diǎn)和大小。因此，該團(tuán)隊(duì)提出了一種全新的視覺 - 觸覺聯(lián)合記錄和追蹤系統(tǒng) ViTaM（為 Visual-Tactile recording and tracking system for Manipulation 的縮寫），包括一個(gè)可伸縮的觸覺手套，與一個(gè)基于視覺 - 觸覺的聯(lián)合學(xué)習(xí)框架。文章在 24 個(gè)物體樣本中進(jìn)行實(shí)驗(yàn)，涵蓋了 6 個(gè)類別，包含剛性物體和可形變物體，重建誤差均值僅為 1.8 厘米。 

ViTaM 系統(tǒng)在未來發(fā)展中，有望被深度集成至機(jī)器人的電子皮膚之中，從而賦予機(jī)器人與周圍環(huán)境進(jìn)行無縫互動(dòng)的能力。這不僅能夠使機(jī)器人實(shí)時(shí)感知并精準(zhǔn)響應(yīng)多樣化的環(huán)境刺激，更將極大提升其在復(fù)雜場(chǎng)景下的靈巧操作水平，推動(dòng)智能機(jī)器人技術(shù)邁向更加先進(jìn)和實(shí)用的新階段。

• 論文名稱：Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array
• 論文鏈接：https://www.nature.com/articles/s41467-024-53654-y
• 項(xiàng)目地址：https://github.com/jeffsonyu/ViTaM

演示視頻：

可以看到，對(duì)于剛體和可形變物體，系統(tǒng)都能進(jìn)行高水準(zhǔn)的重建，也同時(shí)適用于不同類型的物體，如紙杯，橡皮泥，剪刀等日常生活中常見的物體。

ViTaM 方法詳解

圖 1：A 人機(jī)交互中涉及人類操作的（i）無力交互和（ii）有力交互的任務(wù)及其響應(yīng)結(jié)果。B ViTaM 系統(tǒng)概述：(i) 受人類啟發(fā)的聯(lián)合感知方法，在操作過程中同時(shí)處理跨模態(tài)的視覺和觸覺信號(hào)，以實(shí)現(xiàn)狀態(tài)跟蹤；(ii) 可拉伸界面的應(yīng)變導(dǎo)致的傳感誤差，它降低了力測(cè)量的精度和觸覺傳感器的應(yīng)用效果；(iii) 觸覺記錄方案，包括具有主動(dòng)應(yīng)變干擾抑制功能的高密度可拉伸觸覺手套，以及用于顯式分布式力檢測(cè)結(jié)果的 VR 界面；(iv) 由深度學(xué)習(xí)驅(qū)動(dòng)的物體狀態(tài)估計(jì)應(yīng)用，能夠重建物體的整體幾何形狀和接觸區(qū)域的細(xì)粒度表面形變，特別是對(duì)于可形變物體。

ViTaM 系統(tǒng)核心挑戰(zhàn)是要解決在與可形變物體進(jìn)行帶力交互時(shí)如何捕捉細(xì)粒度信息，當(dāng)可形變物體能被正確捕捉時(shí)，剛性部件的交互就自然迎刃而解了。

該系統(tǒng)利用一個(gè)高密度、可拉伸觸覺手套和一個(gè) 3D 相機(jī)記錄操作過程，并利用一個(gè)視覺 - 觸覺聯(lián)合學(xué)習(xí)框架在幾何層面上估計(jì)手 - 物體的狀態(tài)。高密度觸覺手套最多有 1152 個(gè)觸覺傳感通道分布在手掌上，當(dāng)與物體交互時(shí)，會(huì)記錄接觸區(qū)域的手部物體狀態(tài)，并以 13Hz 的幀速率準(zhǔn)確捕捉手物交互過程中可拉伸界面上的力分布和動(dòng)態(tài)（圖 1B (iii)）。同時(shí)，非接觸區(qū)域的手與物體狀態(tài)可以由高精度深度攝像頭記錄。

捕捉到的力測(cè)量和點(diǎn)云序列，經(jīng)過視覺 - 觸覺學(xué)習(xí)模型處理，融合跨模態(tài)數(shù)據(jù)特征，最終實(shí)現(xiàn)對(duì)不同形變材料的被操作物體的跟蹤和幾何三維重建（圖 1B (iv)）。

A. 硬件設(shè)計(jì)：觸覺手套的設(shè)計(jì)與制造

在高精度觸覺反饋系統(tǒng)中，如何準(zhǔn)確地捕捉并傳遞手部與物體之間的交互力，一直是硬件設(shè)計(jì)中的一個(gè)核心挑戰(zhàn)。特別是在涉及復(fù)雜手部運(yùn)動(dòng)和多點(diǎn)壓力分布的情況下，傳統(tǒng)的傳感器系統(tǒng)往往難以滿足高靈敏度和高可靠性的需求。因此，開發(fā)一款能夠精確感知觸覺信息并支持多通道力傳感的手套式硬件設(shè)備顯得尤為重要。受到現(xiàn)有觸覺手套技術(shù)啟發(fā)，團(tuán)隊(duì)研發(fā)了這一款創(chuàng)新的觸覺手套系統(tǒng)。該手套包括多個(gè)模塊（如圖 2A 所示）：觸覺傳感模塊、織物手套、柔性印刷電路（FPC）、多通道掃描電路、處理電路以及一個(gè)腕帶。系統(tǒng)設(shè)計(jì)的核心目標(biāo)包括：

1. 高效的數(shù)據(jù)傳輸與靈活的系統(tǒng)擴(kuò)展：手套的設(shè)計(jì)采用模塊化結(jié)構(gòu)，便于根據(jù)不同需求調(diào)整傳感器的密度或進(jìn)行拆卸。其中，三種類型的 FPC 分別連接手指與掌心傳感區(qū)域，支持最大 1152 個(gè)傳感單元（原型系統(tǒng)配備 456 個(gè)傳感單元）。
2. 觸覺傳感的高精度與準(zhǔn)確性：系統(tǒng)包含了力傳感電路和應(yīng)變干擾檢測(cè)電路，以保證觸覺數(shù)據(jù)的高精度采集與處理，這些傳感器通過導(dǎo)電織物線路連接，形成行列電極陣列，以實(shí)現(xiàn)準(zhǔn)確的力感應(yīng)和應(yīng)變測(cè)量。
3. 人體工學(xué)舒適性：為了提高觸覺手套的舒適性和適配性，采用了先進(jìn)的織物傳感技術(shù)，避免了傳統(tǒng)方法中常見的膠層分層問題。每個(gè)觸覺傳感模塊由正負(fù)應(yīng)變傳感器和力傳感器陣列構(gòu)成（圖 2B）。這種全織法組裝方式不僅提高了手套的耐用性和穿戴感，還使得手套更加適應(yīng)復(fù)雜的手部運(yùn)動(dòng)和操作環(huán)境。
4. 低成本與量產(chǎn)潛力：在系統(tǒng)的整體設(shè)計(jì)中，觸覺手套經(jīng)過多次測(cè)試驗(yàn)證，原型版的準(zhǔn)確率達(dá)到 97.15%，證明其足以滿足大多數(shù)人機(jī)交互應(yīng)用的需求。成本方面，觸覺手套的單價(jià)為 3.38 美元，而硬件總成本為 26.63 美元，使得該產(chǎn)品具備了較高的性價(jià)比，并有望廣泛推廣。通過加工工藝的逐步簡(jiǎn)化以及生產(chǎn)自動(dòng)化技術(shù)的實(shí)現(xiàn)，該觸覺手套在未來有著較大的量產(chǎn)潛力。

該觸覺手套系統(tǒng)不僅能夠精確捕捉力感信息，還具備高適配性和舒適性，適用于多種實(shí)際應(yīng)用場(chǎng)景，如虛擬現(xiàn)實(shí)、機(jī)器人操作及醫(yī)療領(lǐng)域等。

圖 2：觸覺手套的具體設(shè)計(jì)：A. 最大傳感通道為 1152 的高密度可拉伸觸覺手套的放大示意圖；B. (i) 帶有兩對(duì)應(yīng)變電極、行電極陣列和列電極陣列的觸覺傳感塊的結(jié)構(gòu)；(ii) 顯示應(yīng)變電極位置的放大圖；(iii) 顯示緊密裝配的觸覺傳感塊側(cè)視圖。

B. 視覺 - 觸覺聯(lián)合學(xué)習(xí)在人類操作中的應(yīng)用

在操作可形變物體時(shí)，手部與物體接觸的力分布能夠幫助揭示因形變而發(fā)生的幾何變化。然而，由于形變區(qū)域幾乎具備無限的自由度，完全估算物體形變的幾何形狀一直是一個(gè)難題。盡管觸覺手套能夠測(cè)量接觸區(qū)域的分布力并幫助感知形變，但其覆蓋范圍僅限于部分物體表面，且即便是高密度、分布式的傳感器網(wǎng)絡(luò)也難以全面捕捉物體的完整幾何信息。因此，團(tuán)隊(duì)認(rèn)為，還需要視覺觀測(cè)來彌補(bǔ)這一不足，從而恢復(fù)完整的物體幾何形態(tài)。此類視覺 - 觸覺交互機(jī)制與人類的認(rèn)知過程高度相似。

團(tuán)隊(duì)提出了一種視覺 - 觸覺聯(lián)合學(xué)習(xí)框架，旨在手 - 物體重建和跟蹤中恢復(fù)物體幾何信息，尤其是在高度非剛性形變的情況下。該框架通過結(jié)合觸覺數(shù)據(jù)和視覺信息，能夠有效重建被手部遮擋或形變的物體細(xì)節(jié)。為了評(píng)估這一框架，團(tuán)隊(duì)制作了一個(gè)視覺 - 觸覺數(shù)據(jù)集，包括 7680 個(gè)樣本，涵蓋 24 種物體、6 個(gè)類別。數(shù)據(jù)集中包括海綿、橡皮泥、瓶子和杯子等可形變物體，以及折疊架和剪刀等剛性物體。每個(gè)物體都進(jìn)行了 20 次觸摸，并通過 16 個(gè)不同的攝像頭視角進(jìn)行了記錄。訓(xùn)練數(shù)據(jù)來自 RFUniverse，它支持基于有限元方法（FEM）的仿真，測(cè)試數(shù)據(jù)則來源于實(shí)際操作。

圖 3: 該模型包含手部重建器、特征提取器、時(shí)間特征融合器和繞數(shù)場(chǎng)（WNF）預(yù)測(cè)器。全局和局部特征均從視覺和觸覺輸入中提取，并基于手部的區(qū)塊位置。團(tuán)隊(duì)將這些特征融合在一起，利用時(shí)間交叉注意模塊計(jì)算每點(diǎn)特征，預(yù)測(cè)采樣位置的 WNF，并通過行進(jìn)立方體算法重建物體幾何形狀。

實(shí)驗(yàn)驗(yàn)證

團(tuán)隊(duì)從兩方面驗(yàn)證了系統(tǒng)的有效性：觸覺手套與可形變物體交互分析，以及視覺 - 觸覺聯(lián)合學(xué)習(xí)的物體重建效果評(píng)估。

A. 觸覺手套與可形變物體交互分析

為了驗(yàn)證觸覺手套的性能，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)動(dòng)態(tài)的餃子制作任務(wù)，使用軟橡皮泥作為高度可形變的物體進(jìn)行實(shí)驗(yàn)。該任務(wù)包括將橡皮泥揉成球狀，然后將其壓成扁平形狀（作為餃子皮），最后用手指捏合皮邊。首先，當(dāng)手掌將橡皮泥揉成球狀時(shí)，圖 4A 展示了手掌傳感區(qū)域（稱為手掌塊）的歸一化壓力變化。其次，在手掌按壓橡皮泥球時(shí)（圖 4B），經(jīng)過應(yīng)變干擾校正后的歸一化壓力高于未經(jīng)校正的結(jié)果。第三，將餃子皮對(duì)折并用拇指和食指捏合邊緣（圖 4C）。歸一化的捏合壓力顯示，經(jīng)過校正的壓力曲線在三個(gè)子階段明顯增加，這可能是由于形變帶來的顯著應(yīng)變和未校正的壓縮力減少所致。

此外，團(tuán)隊(duì)還研究了在需要手指與手掌協(xié)作的操作中，應(yīng)變干擾校正前后的觸覺傳感塊表現(xiàn)。例如，在反復(fù)捏合并釋放海綿時(shí)（圖 4D）。未校正的操作只涉及六個(gè)活躍的手指塊和九個(gè)活躍的手掌塊，這些塊的相關(guān)系數(shù)大于 85%（圖 4E (i)）。經(jīng)過校正后，團(tuán)隊(duì)發(fā)現(xiàn)了兩個(gè)額外活躍的手指塊和五個(gè)手掌塊（圖 4E (ii)）。圖 4F (i) 展示了校正前活躍塊的歸一化壓力變化，圖 4F (ii) 則展示了校正后壓力變化較小的塊。Spearman 相關(guān)性結(jié)果分別展示了未校正和校正后的數(shù)據(jù)（圖 4G (i) 與圖 4G (ii)）。位于中指遠(yuǎn)端指骨上的塊 3-1 與其他塊的相關(guān)性最高。校正后，出現(xiàn)了更多的相關(guān)性，表明所有手指塊在捏合海綿時(shí)都發(fā)揮了作用，尤其是塊 2-2、塊 5-1、塊 5-2 和塊 5-3。像塊 3-1 和塊 2-1 這樣的塊，在校正后相關(guān)系數(shù)增加超過 85%，這表明相關(guān)塊之間的協(xié)同效應(yīng)得到了增強(qiáng)。圖 4H 展示了校正后強(qiáng)相關(guān)數(shù)量的增加，進(jìn)一步說明了即使在應(yīng)變干擾的情況下，校正也有助于深入挖掘不同手指與手掌之間的依賴關(guān)系。

觸覺手套還能夠在操作過程中幫助估計(jì)物體形狀，尤其是在抓取各種物體時(shí) —— 無論是軟物體（如塑料滴管、毛巾、塑料瓶）還是硬物體（如畫筆、勺子、小針）。在虛擬現(xiàn)實(shí)界面中，可以明顯看到沿物體邊緣的力反應(yīng)。

團(tuán)隊(duì)還考慮了手部姿態(tài)的干擾。圖 5-1 與 5-2 分別比較了兩種典型動(dòng)作 —— 揉捏面團(tuán)和抓取海綿 —— 在空手姿態(tài)和與真實(shí)物體交互時(shí)的歸一化壓力曲線。與空手姿態(tài)相比，實(shí)際交互時(shí)的歸一化壓力曲線分別增加了 12 倍、16 倍和 6 倍。較低幅度的噪聲可以通過視覺 - 觸覺聯(lián)合學(xué)習(xí)框架輕松濾除。在監(jiān)督學(xué)習(xí)設(shè)置下，相關(guān)信號(hào)（例如接觸重建）得到增強(qiáng)，不相關(guān)信號(hào)則被抑制。

圖 4：包餃子任務(wù)以及三個(gè)動(dòng)作的觸覺反應(yīng)和歸一化壓力結(jié)果：(A) 揉、(B) 壓和 (C) 捏。D 反復(fù)捏放可形變海綿的抓取任務(wù)照片。E 海綿抓取任務(wù)中主動(dòng)觸覺傳感塊的分布（i）不含應(yīng)變干擾抑制，（ii）含應(yīng)變干擾抑制。F (i) 未進(jìn)行應(yīng)變干擾抑制的主動(dòng)塊和 (ii) 抑制后進(jìn)一步顯示的塊的歸一化壓力曲線。G 海綿抓取任務(wù)中（i）無應(yīng)變干擾抑制時(shí)和（ii）有應(yīng)變干擾抑制時(shí)斯皮爾曼相關(guān)分析的弦圖像。H 校正前后所有手指區(qū)塊和手掌區(qū)塊的強(qiáng)相關(guān)數(shù)量。

圖 5-1：(A) 揉捏操作中的手部姿勢(shì)任務(wù)和 (B) 實(shí)際揉面動(dòng)作與歸一化壓力曲線。

圖 5-2：(A) 在抓取操作中的手部姿勢(shì)任務(wù)和 (B) 實(shí)際抓取海綿時(shí)的壓力曲線。

B. 視覺 - 觸覺聯(lián)合學(xué)習(xí)的物體重建效果評(píng)估

為了驗(yàn)證 ViTaM 系統(tǒng)的有效性，研究者們進(jìn)行了定性和定量對(duì)比測(cè)試，以回答以下問題：(1) 特定于觸覺陣列的數(shù)據(jù)格式是否能有效地向?qū)W習(xí)算法傳遞幾何信息？(2) 與其他形式的傳感器（如 RGB-D 相機(jī)或光學(xué)觸覺傳感器）相比，它是否更有效？

a) 定性結(jié)果

為了展示提出的聯(lián)合學(xué)習(xí)框架的有效性，團(tuán)隊(duì)展示了兩個(gè)彈性物體（海綿）和一個(gè)剛性物體（剪刀）的接觸物體重建。從圖 6A 中可以看到，真實(shí)數(shù)據(jù)中的手和物體都得到了很好的重建，而且在觸覺信息的幫助下，還可以重建手部遮擋的細(xì)節(jié)形狀。更重要的是，在應(yīng)變干擾抑制后，基于觸覺反饋重建的可形變海綿可以在應(yīng)變明顯的區(qū)域顯示出更多微小細(xì)節(jié)，而且由于應(yīng)變干擾抑制方法有助于恢復(fù)施加在剛性邊緣上的真實(shí)微小力，剛性物體的完整性也得到了改善。圖 6B 展示了逐漸形變的塑性體，它代表了捏餃子皮的包餃子任務(wù)。塑性體在每個(gè)步驟中的形變都得到了很好的展示。在圖 6C 中，團(tuán)隊(duì)重建了一個(gè)剛性折疊架，該折疊架采用了手與物體上不同位置的多次接觸。折疊架的細(xì)節(jié)是通過多次接觸與迭代觸覺信息嵌入（tactile embedding）來逐步完成的。此外，為了證明視覺 - 觸覺聯(lián)合學(xué)習(xí)的必要性，在圖 6D 中展示了剪刀、折疊架和瓶子的純視覺結(jié)果和視覺 - 觸覺結(jié)果。得益于視覺和觸覺特征的結(jié)合，剛性和可形變物體都得到了很好的重構(gòu)。在圖 6E 中，重建的序列證明研究者所提出的方法能夠處理多幀的連續(xù)數(shù)據(jù)。因此，該視覺 - 觸覺模型性能的提高證明，引入應(yīng)變干擾抑制的觸覺信息對(duì)于獲得手部遮擋的特征和獲取可拉伸界面上物體的動(dòng)態(tài)形變都是至關(guān)重要的。

圖 6：A. 在沒有應(yīng)變干擾抑制和有應(yīng)變干擾抑制的情況下，兩塊彈性海綿和一把剛性剪刀的接觸物體重建。B. 在沒有應(yīng)變干擾抑制和有應(yīng)變干擾抑制的情況下，用手操作逐漸形變的餃子形塑性體的三個(gè)重建階段。C. 手在物體不同位置多次接觸后重建的剛性折疊架。D. 剪刀、架子和瓶子的純視覺和視覺 - 觸覺重建結(jié)果，顯示了視覺 - 觸覺關(guān)節(jié)學(xué)習(xí)的優(yōu)越性。E 根據(jù)在現(xiàn)實(shí)世界中收集到的視覺 - 觸覺數(shù)據(jù)對(duì)可形變的杯子和可形變的海綿進(jìn)行重建的序列結(jié)果。

b) 定量結(jié)果

團(tuán)隊(duì)同樣使用了定量指標(biāo)對(duì)方法進(jìn)行了評(píng)估。從表 1 中可以看到，ViTaM 在真機(jī)數(shù)據(jù)下的表現(xiàn)很理想， 大部分的物體都能做到重建誤差的倒角距離在 1~2 厘米之內(nèi)。在實(shí)驗(yàn)中，首先，團(tuán)隊(duì)將現(xiàn)有的純視覺解決方案的性能與 ViTaM 系統(tǒng)的算法（不包括觸覺編碼器）進(jìn)行了比較；其次，將該算法與之前的一項(xiàng)工作 VTacO 進(jìn)行了比較，后者采用了基于硅膠的光學(xué)觸覺傳感器 DIGIT 來記錄接觸形變。在表 2 中可以看到 ViTaM 與前人方法的結(jié)果的倒角距離比較。可以發(fā)現(xiàn)，ViTaM 系統(tǒng)在重建彈性、塑性、鉸鏈?zhǔn)胶蛣傂运姆N類型的物體時(shí)，表現(xiàn)出優(yōu)于純視覺方法的性能。例如，使用 ViTaM 系統(tǒng)重建海綿的倒角距離僅為 0.467 厘米，與 VTacO 相比提高了 36%。基于硅膠的光學(xué)觸覺傳感器可以獲得更高分辨率的局部幾何信息，如尖銳邊緣或嚴(yán)重形變，而分布式觸覺手套設(shè)計(jì)則可以在遮擋過于嚴(yán)重而無法獲得視覺信息時(shí)獲得更全面的特征。

表 1：ViTaM 方法在真機(jī)物體上的重建效果指標(biāo)

表 2：ViTaM 方法與前人的基線方法的定量指標(biāo)的比較

結(jié)論與未來展望

在復(fù)雜的操作任務(wù)中，捕捉手與可形變物體之間的觸覺數(shù)據(jù)并進(jìn)一步估計(jì)手物狀態(tài)一直是一個(gè)巨大挑戰(zhàn)。特別是，缺乏準(zhǔn)確、分布式且具有可伸縮性的觸覺陣列，阻礙了視覺 - 觸覺學(xué)習(xí)的融合，限制了對(duì)一般人類操作的理解。尤其是在可伸縮界面上的應(yīng)變干擾，會(huì)嚴(yán)重影響力的測(cè)量準(zhǔn)確性和應(yīng)用效果。

本文提出了一種用于操作的視覺 - 觸覺聯(lián)合記錄與跟蹤系統(tǒng)，其中觸覺輸入通過一款具有 1152 個(gè)傳感通道和 13Hz 幀率的高密度可伸縮觸覺手套捕獲。該觸覺手套集成了一種主動(dòng)的應(yīng)變干擾抑制方法，其力測(cè)量的準(zhǔn)確率達(dá)到 97.6%。與未經(jīng)校正的測(cè)量數(shù)據(jù)相比，ViTaM 的傳感器準(zhǔn)確度提升了 45.3%。這一主動(dòng)方法在材料 - 電路層面工作，更符合人類在接觸剛性或可形變物體時(shí)的自適應(yīng)觸覺感知。與傳統(tǒng)的應(yīng)變干擾抑制策略相比，從結(jié)構(gòu)設(shè)計(jì)和材料選擇角度來看，本文提出的主動(dòng)方法具有易于集成、成本效益高、大面積適配、耐用性強(qiáng)及廣泛的應(yīng)變抑制范圍等優(yōu)點(diǎn)。ViTaM 系統(tǒng)實(shí)現(xiàn)了跨模態(tài)數(shù)據(jù)特征的融合，揭示了手物交互過程中的被遮擋狀態(tài)，推動(dòng)了智能體在人形體與機(jī)器交互（HMI）中理解能力的發(fā)展，尤其是在力學(xué)交互方面，向人類觸覺感知的水平邁進(jìn)了一步。

展望未來，ViTaM 系統(tǒng)將被集成到機(jī)器人表面覆蓋的電子皮膚中，實(shí)現(xiàn)與周圍環(huán)境的無縫互動(dòng)，能夠感知并響應(yīng)多種環(huán)境刺激。此外，捕捉和恢復(fù)人類操作過程中的動(dòng)態(tài)狀態(tài)將有助于更好地理解人類行為，并提升機(jī)器人靈巧操作的能力，推動(dòng)從物體特定操作到通用操作場(chǎng)景的技術(shù)進(jìn)步。