仿生體感-視覺(jué)關(guān)聯(lián)學(xué)習(xí)框架。

可伸縮應(yīng)變傳感器。

techxplore.com網(wǎng)站7月14日?qǐng)?bào)道，新加坡南洋理工大學(xué)和悉尼科技大學(xué)的研究人員最近在《自然·電子學(xué)》雜志發(fā)文公布了一種機(jī)器學(xué)習(xí)架構(gòu)，可通過(guò)分析可伸縮應(yīng)變傳感器捕捉到的圖像識(shí)別人類手勢(shì)。

項(xiàng)目研究人員Xiaodong Chen在接受TechXplore采訪時(shí)說(shuō)：“人腦如何處理信息?我們對(duì)此很感興趣。在人腦中，思維、規(guī)劃和靈感等高級(jí)感知活動(dòng)，不僅依賴特定的感官信息，還與不同傳感器的多感官信息綜合整合有關(guān)。這為我們結(jié)合視覺(jué)信息和軀體感覺(jué)信息，實(shí)現(xiàn)高精度手勢(shì)識(shí)別提供了啟示。”

人類在解決實(shí)際任務(wù)時(shí)，通常會(huì)整合從周圍環(huán)境收集到的視覺(jué)和體感信息。兩種類型的信息是互補(bǔ)的，當(dāng)它們結(jié)合在一起時(shí)，能夠?yàn)榻鉀Q問(wèn)題提供更好的方案。因此，在開(kāi)發(fā)人類手勢(shì)識(shí)別技術(shù)時(shí)，Chen等需要確保該技術(shù)能夠整合多個(gè)傳感器收集到的不同類型的感知信息。Chen解釋：“為了實(shí)現(xiàn)目標(biāo)，我們對(duì)傳感器進(jìn)行了改進(jìn)。與目前使用的可穿戴傳感器相比，新設(shè)計(jì)的可伸縮、高適應(yīng)性傳感器可以更準(zhǔn)確地收集肢體感覺(jué)數(shù)據(jù)。我們還開(kāi)發(fā)了一種仿生體感-視覺(jué)(BSV)學(xué)習(xí)框架，它可以合理地融合視覺(jué)信息與體感信息。”

Chen等開(kāi)發(fā)的BSV學(xué)習(xí)框架以多種方式復(fù)制了人類大腦的體感-視覺(jué)信息融合途徑，表現(xiàn)出三大特點(diǎn)：首先，它的多層、層級(jí)結(jié)構(gòu)以人工神經(jīng)網(wǎng)絡(luò)模仿大腦。其次，系統(tǒng)中的部分分段網(wǎng)絡(luò)處理模式與大腦中的神經(jīng)網(wǎng)絡(luò)處理模態(tài)大致相同。最后，BSV架構(gòu)具備新開(kāi)發(fā)的稀疏神經(jīng)網(wǎng)絡(luò)融合特征。

在初步評(píng)估實(shí)驗(yàn)中，Chen等設(shè)計(jì)的BSV學(xué)習(xí)架構(gòu)的表現(xiàn)優(yōu)于單式識(shí)別方法(只處理視覺(jué)或體感數(shù)據(jù)的方法)。值得注意的是，它能比此前開(kāi)發(fā)的三種多模態(tài)識(shí)別技術(shù)(加權(quán)平均融合SV-V，加權(quán)強(qiáng)調(diào)融合SV-T和加權(quán)倍增融合SV-M)更準(zhǔn)確地識(shí)別人類手勢(shì)。

Chen說(shuō)：“與單式識(shí)別和常見(jiàn)多模態(tài)識(shí)別相比，我們開(kāi)發(fā)的仿生學(xué)習(xí)架構(gòu)具有更高的識(shí)別精度。而在圖像有噪聲、曝光不足或曝光過(guò)度等非理想條件下，它的識(shí)別精度也相對(duì)更高。”

BSV學(xué)習(xí)架構(gòu)可用于制造醫(yī)療機(jī)器人，或者開(kāi)發(fā)更先進(jìn)的虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和娛樂(lè)技術(shù)。Chen說(shuō)：“BSV獨(dú)特的仿生特性使其優(yōu)于多數(shù)現(xiàn)有技術(shù)。這已經(jīng)被實(shí)驗(yàn)結(jié)果證實(shí)。下一步，我們將嘗試構(gòu)建基于仿生融合的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)系統(tǒng)。”