汽車多模態交互研究:交互方式日漸多元化,多模態融合有待進一步加強
佐思汽研發布《2021年中國汽車多模態交互發展研究報告》,對主流汽車品牌交互方式進行了梳理總結。
目前在汽車人機交互方面,呈現兩大特點:
1、在交互方式上,除了觸控、按鍵、旋鈕等傳統交互外,語音、手機已成為汽車人機交互的必選項。除此之外,人臉、手勢、車燈也成為交互方式擴展的熱門選項,更有部分品牌開始嘗試眼部追蹤、聲紋、指紋等新型交互方式。
2、在品牌布局上,合資品牌在交互方式上相對保守,除語音、手機交互外,新型交互方式搭載較少,但豪華品牌成為多模態交互先鋒。例如奔馳在其最新一代MBUX系統上,配備了人臉、手勢、眼部、指紋多種新型交互。相比之下,自主頭部品牌在新型交互方式的應用上更為積極,如長安汽車的視線喚醒、長城汽車的聲紋識別等。
國內外主流汽車品牌部分人機交互方式如下(●量產車搭載 ○概念車搭載):
來源:佐思汽研《2021年中國汽車多模態交互發展研究報告》
語音作為常規交互方式之一,功能正在不斷完善
語音交互在原有性能之外,連續對話、音區鎖定、音色切換、語音自定義等特性已成為主流品牌的下一發展方向。
1、連續對話、音區鎖定已有多個品牌搭載。
具備連續對話的語音交互系統能夠在一次喚醒后,一定時間內無需再進行喚醒,提高指令響應的連貫性;音區鎖定則可以定位語音指令的發出者,在執行“開窗”、“調節空調溫度”等指令時更加精準。搭載這兩項功能的品牌主要有吉利、長安、長城、奇瑞、上汽榮威、廣汽傳祺、小鵬、蔚來、理想等。
吉利星越L--銀河OS的“主駕極客模式”支持主駕24小時免喚醒,具備四音區鎖定
小鵬汽車--語音助手小P,具備全場景語音功能,支持30秒連續對話、雙音區鎖定
2、音色切換指語音系統除了默認語音聲音外,可提供其他聲音供用戶選擇,如明星、游戲人物的聲音等。搭載品牌有吉利、長安、長城、比亞迪、榮威以及新勢力品牌蔚來、小鵬、理想等。如,上汽榮威RX5搭載的斑馬智行維納斯系統可提供親和女聲、知性女聲、磁性男聲、稚嫩童聲、熱情女聲五種音色供選擇。
吉利星越L--銀河OS支持至多10種音色切換
3、語音自定義包括語音音色自定義和語音功能自定義。
“語音音色自定義”指用戶上傳自己或家人的聲音后,系統將該聲音應用于語音響應、導航播報等場景。搭載品牌有吉利、長城、上汽榮威、廣汽傳祺以及R汽車等。
“語音功能自定義”指用戶可自定義語音指令及該指令對應的操作,可極大地提高語音系統的可玩性,滿足用戶的個性化需求。搭載的品牌有小鵬汽車。
吉利星越L--銀河OS 支持用戶定制個性語音,自定義的真人聲音可以全場景應用,包括導航、應答等。
小鵬汽車--小P私人定制,小鵬汽車的車主可通過手機APP自定義語音指令及對應的操作
手勢繼語音、人臉之后,成為第三種新型交互方式
手勢交互主要通過車內攝像頭來判斷手勢動作,并將數據傳遞給車載系統控制單元,由控制單元調出與識別出的手勢相對應的功能。相較于語音控制,手勢控制操作更加精準、快速,且更容易學習掌握。
搭載手勢交互的品牌有寶馬、奔馳、長安、長城、上汽榮威、廣汽傳祺、嵐圖、R汽車、北汽極狐、小鵬。其中長城、小鵬支持車外手勢識別。
WEY摩卡--支持在車外通過手勢控制車輛點火、前進、后退、暫停、熄火。
長安福特EVOS--全新一代SYNC+2.0支持手勢控制靜音、音樂播放、界面分屏以及返回主界面等操作。
車燈交互上車奔馳、高合、智己等品牌
車燈交互通過車燈閃爍動作、車燈投影、燈組顯示屏等方式向外界傳達信息,車燈交互為駕駛員與車外交通參與者的互動提供了渠道,在自動駕駛落地之際,車燈交互使自動駕駛汽車能夠與周圍環境進行通信。目前奔馳、奧迪、大眾、長城、比亞迪、高合、智己、小鵬等品牌搭載了該交互方式。
奔馳--投影大燈將警告標識、標記輔助等與駕駛輔助系統相關的信息投射在前方道路上。
智己L7--投影大燈可投射車語、導航、警示等交互信息,并且可結合高精地圖提供車道級的導航引導;燈組顯示屏可提供多種圖案樣式,展示座艙內用戶的狀態;交互尾燈支持顯示文字、表情,如感謝、行人提醒、充電狀態等信息。
除了車燈燈組外,部分品牌嘗試在車身前后增加顯示屏來向行人傳遞信息,如北汽、三星等。
北汽Lite 300--在車輛前后配有LED顯示屏,可顯示文字、表情、動畫以及充電信息等內容
多模態融合是下一發展方向
單一模態下的交互,對交互體驗的提升有上限。未來在提高交互體驗上,多模態融合是明顯可行且高效的選擇。目前在研的品牌有奔馳、寶馬、華為、長安等。
1、語音+視線
語音交互對包含“這個、那個”等模糊指代詞的識別能力幾乎為零,這種情況下若加入視線追蹤,由視線鎖定的方向,再通過語音發出指令,可極大提高指令的響應率。
奔馳“MBUX Travel Knowledge”--駕駛員可通過視線鎖定一棟建筑物,并說:“我想知道這棟樓的用途”,即可獲取相關信息。該功能由Cerence Look提供技術支撐。
2、語音+唇動識別
在語音交互的過程中,對指令的準確獲取是最關鍵的一步,而座艙復雜的環境、噪音和密集的人員增加了語音識別難度,近年新增的音區鎖定在一定程度上緩解了該難題。但受限于語音單模技術瓶頸,采用單一語音技術的交互對體驗的提升有限。
與唇動識別融合下的語音交互將極大提高語音識別性能,不同語言下的唇部動作不同,在嘈雜的座艙環境下,即使系統接收到聲音很小,結合唇部動作也可以保障較高的語音識別率。
北汽極狐搭載的華為鴻蒙OS唇動識別(在研階段)