我們知道，人工智能的目標之一就是讓計算機模擬人類的視覺、聽覺、觸覺等感知能力，嘗試去看、聽、讀，理解圖像、文字、語音等，在此基礎上，再讓人工智能具有思維能力、行動能力，最終成為跟人類一樣的存在。

現在，人工智能機器人的感知能力已經實現了明顯的進展。圍繞機器視覺，機器人可以實現一系列像圖像識別、目標檢測和文字識別等功能得到廣泛應用;圍繞自然語言處理，機器人可以進行基本的語音理解、機器翻譯、語音對話等;圍繞機器觸覺，機器人可以實現靈活的物體感知、抓握推舉等各種動作。

單一感知或者說感知能力無法互通，成為當前人工智能機器人無法實現類人化突破的一大原因。也就是說，在單一感知能力和單一工作上，機器人的準確度、穩定性和持久性上面，可能遠超人類，但一旦在完成多道工序的復雜任務上面，機器人就遠遜于人類的表現。

人工智能機器人想要實現質的發展，就必須在感官能力上面實現多模態的感知融合?，F在除了在我們熟知的機器視覺方面，人工智能機器人正在機器觸覺和聽覺方面實現突破，并且通過視覺、觸覺和聽覺的感知融合，來大幅提升機器人的感知能力。

對于人工智能機器人，普通人要么抱有很高的不切實際的幻想，擔心機器人革命會很快到來，要么對機器人的通用能力保持懷疑，覺得機器人只能在少數場景替代人類。

只有深入到人工智能機器人的“案發現場”，不吹不黑地看下機器人感知能力的發展狀況，才能知道當前機器人的感知補全計劃的真正進展。

機器視覺和機器觸覺

作為地球上最有智慧的生物的人類，感官獲取信息的83%來自視覺，11%來自聽覺、3.5%來自嗅覺，而1.5%來自觸覺，1%來自味覺。

在這五種感官中，如果你不幸地只能保留一種，可能大部分都會保留視覺。要知道我們大腦的近1000億個神經元，大多數都在處理視覺信息。而在所有的感知信息中，也只有動態的視覺信息是最為復雜的，以至于人類得靠著閉上眼睛主動隔離才能叫“休息”。

正因為視覺信息的重要和復雜，我們在人工智能技術的發展上，除了自然語言處理，那就主要在發展機器視覺了。

這一次人工智能的浪潮也是因為在圖像識別上的突破進展才重新興起。如今，機器視覺已經在工業、安防、日常消費電子、交通等各個領域全面開花，越來越多的攝像頭背后都具有了AI的圖像識別能力。

對于大多數人工智能機器人而言，除了有視覺能力，還有就是移動行走和抓取能力，這就需要用到觸覺的幫助。對于往往只有單一功能的自動化機器人，通常只需設定好固定的參數、移動軌跡和抓取力度，即可不休不眠地完成工作任務。但對于人工智能機器人而言，則要靈活適應各種不同材質、不同形狀和軟硬度的物體，這個時候就既需要機器視覺的識別能力，也需要對于物體的觸覺判斷。

之前，大部分機器人的抓握解決方案都是單靠機器人的視覺感知。主要的解決辦法就是通過數據庫進行圖像匹配，將目標物體的狀態和自身動作進行實時監測，最終調整合適的抓取算法，來完成物體的抓取，但是有關抓握的接觸力度，則是機器視覺無法代替的，這樣機器還需要觸覺上的感知數據。

就如同人類一樣，我們在嘗試抓取物體時，會組合運用各種感知能力，最基礎的就是視覺和觸覺。由于視覺會因為光線、陰影、視線遮擋等因素，造成誤判，我們通常會更有效地利用皮膚的觸覺，來獲得對于物體完整的感知。

人體的觸覺感知也是一個非常復雜的生物電信號反應的過程，那么要賦予機器以觸覺能力也需要經過非常復雜的處理。模擬人體的觸覺反應，機器人的觸覺傳感器也必須能夠將物體的質地、光滑程度以及物體形態進行數字模擬處理，將壓力和振動信號變成可以計算機處理的數據信號，從而進行觸覺算法的訓練。

機器觸覺的難點在于對于觸覺傳感器獲得的抓握等微小振動的識別，要能夠識別抓握物體發生的滑動振動和物體與其他物體摩擦發生的振動，還要能夠區分不同物體的振動，這些是研究者們重點攻克的難點。

實現突破的方法就是，我們需要更好的觸覺感應器，必須做到比現有的壓力傳感器更好的觸覺傳感器，能夠嵌入到柔性材料當中，實現像人類皮膚一樣的人造皮膚。

最近新加坡國立大學的兩名研究人員就開發出一種人造皮膚，搭載在一個能夠模擬生物神經網絡人造大腦，通過英特爾Loihi的神經擬態處理器上運行。在這一技術基礎上，研究團隊通過了機械手臂讀取盲文的測試，同時借助視覺傳感器和這一人造皮膚，機械手臂的抓取能力也得到明顯提高。未來基于這種觸覺能力的機器人，可以在物品分揀過程中做到更加靈活、細致和安全，在護理行業上，可以對人類進行更好的看護和幫助，在外科手術機器人上，更好的完成手術的自動化。

視覺和觸覺的結合，已經可以為機器人感知提升提供了可能，那么聽覺能力的融合，會帶來哪些效果呢?

機器聽覺的補全

這里的機器聽覺，不是特指對于人類語音的識別。這類語音識別已經在各類消費級的智能音箱等領域得到廣泛應用。這里的機器聽覺是指通過聲音傳感器對于一切物體發出聲音的判斷。

相比較機器視覺對于物體的判斷的簡單直接，機器聽覺確實是人們一直忽略的領域。在我們的日常生活場景中，我們其實除了用視覺來判斷物體的遠近、顏色和大小之外，我們通常也會用到聽覺來識別物體的距離遠近、質地，推測事件的發生。這一點對于有視力障礙的人來說尤為重要。

最近，卡內基·梅隆大學(CMU)的研究人員發現，通過增加聽覺感知，人工智能機器人的感知能力可以得到顯著的提高。

這一次CMU機器人研究所首次對聲音和機器人動作之間的相互作用進行大規模研究。研究人員發現，不同物體發出的聲音可以幫助機器人區分物體，比如金屬螺絲刀和金屬扳手。機器聽覺還可以幫助機器人確定哪種類型的動作會產生聲音，并幫助它們利用聲音來預測新物體的物理屬性。經過測試，機器人通過聽覺在對物體進行分類的準確率能達到76%。

為了實現這一測試，研究者通過60個常見物體在一個機器人的托盤上進行滑動、滾動和撞擊，記錄下15000個交互的視頻和音頻，形成了一個大數據集。

此外，研究者還可以通過搖晃容器或者攪拌物質的聲音來預估顆粒狀物質的數量和流量，比如對大米和意大利面進行評估。顯然，通過聲音的對比，可以預測很多通過視覺無法預測的物理屬性。

機器聽覺無法區分一個紅色方塊和一個綠色方塊，但他可以在看不見的情況下的撞擊聲，來區分出兩個不同物體。而這正是機器聽覺的有用性所在。最終對于聲音識別物體的效果，就連研究者也都非常驚訝。

在機器聽覺的應用方面，研究者首先想到的是在未來機器人的裝備儀器上加一個手杖，通過手杖敲擊物體來識別物體，這倒是一個有趣的畫面。但可以想見，在未來智能安防、管道線路檢測以及身體檢測等方面，機器聽覺可以發揮更大的作用。另外，對于識別最有意義的人類聲音，比如音樂、情感等聲音內容上面，這些應用就更加廣泛。

機器人多模態感知融合的應用前景

正如感覺器官對于人類的重要性而言，感知系統對于機器人的重要性同樣至關重要。

要知道，我們人類其實是很少只用一個感官去獲取信息，也很少只用一個感官去指導行動。就好像在一場“攀爬-賽跑-游泳”的三合一比賽中，我們在單一項目中可能無法戰勝猴子、豹子和海豚，但是在整場比賽中，人類就可以同時完成這三個項目。我們人類在感知事物的時候通常也是多感官同時發揮作用，相互協調和多次驗證來加深對于外界物體的感知認識。更為復雜的事，我們甚至還要借助記憶、推理等理性認知能力來對感知事物進行加工，從而得到更為復雜的認知。

相比較于人類的多感官應用，機器人的單一感知或者簡單組合的感知能力，又因為目前機器人的感知識別模式仍然是基于算法模型對于感知數據的分析和數據對比，因此難以產生更為復雜的推理知識，因此是機器人在認知的復雜度上稍遜于人類，但在識別物體的準確度和規模上就會遠超人類。

現在，多模態感知融合的推進，將使得機器人在認知復雜度上面逐漸接近人類的能力。未來的機器人面對照明和遮擋、噪聲和混響、運動和相似等復雜交互場景，將會變得更加游刃有余，從而產生各種收益明顯的現實應用。

多模態感知融合可能應用到的領域，包括：

• 特殊化的精密操作領域。比如高難度外科手術領域，外科手術機器人可以通過對目標的精確觀察和相關組織的分離、固定，進行比外科醫生更精準的手術操作。
• 高?；蛘吒唠y度的機器人作業。比如危險物品的搬運、拆除，比如普通人無法進入的管線等高難度區域檢測檢修，地下墓穴或海底的物品的搬運、打撈，通過機器聽覺對密封空間的聲音探測等。

像在安防、災害救援、應急處理等需要靈活處理的場景，都可以逐漸交由多感知系統的機器人處理，或者人機協同遠程處理。

此外，由于機器人感知融合能力的提高，機器人對于綜合感知數據的訓練，可以更好地理解人類本身的復雜性，尤其是可以建立更為復雜的情感計算模型，能夠更好地理解人類在表情、聲音、皮膚溫度、肢體動作等方面傳遞出的情感信號，為更高級的人機互動提供新的可能。

目前來看，人工智能機器人仍然是一個復雜的系統工程，想要實現機器人的多模態感知融合，還需要對傳感器性能、算法協同、多模態任務、環境測試等多方面進行綜合研究。

這個過程必定是非常艱難的，但取得成果之后的前途必定是一片光明的。在我們期待人類與機器人和諧生活的未來，我們自然更期待這些機器人不再是一臺冷冰冰的機器。