研發(fā)背景

作為頭戴的追蹤配件，VR手柄可以通過HMD（頭戴顯示設(shè)備）的inside-out光學(xué)追蹤定位原理，計算出手柄的空間運動軌跡，同時結(jié)合6軸傳感器實現(xiàn)6DoF空間定位。與此同時，結(jié)合手柄控制器的物理按鍵、馬達(dá)反饋、搖桿等，用戶還能獲得逼真、細(xì)膩的觸覺反饋，進(jìn)一步增強(qiáng)虛擬現(xiàn)實人機(jī)交互的能力以及沉浸感，這也是目前無手柄方案所難以實現(xiàn)的。

目前主流VR手柄的追蹤技術(shù)方案，包括光學(xué)追蹤、自追蹤和電磁追蹤方案。

因精度高、功耗低、成本低，光學(xué)追蹤是目前最主流的VR手柄追蹤方式。為了保證IR燈（紅外燈）不易受遮擋，通常手柄本體上都帶有一個明顯凸起的追蹤光環(huán)。

但為了順應(yīng)VR設(shè)備小型化得趨勢，提升用戶攜帶的便利性，并提供更自然的交互方式，PICO取消了手柄上的追蹤光環(huán)，選擇在手柄本體有限區(qū)域內(nèi)布置少量的IR燈。

Centaur多模態(tài)融合算法架構(gòu)

更小的手柄、更少的IR燈，也意味著更頻繁的遮擋。如何解決遮擋情況下的手柄追蹤問題，則是PICO研發(fā)團(tuán)隊面臨的關(guān)鍵課題。

基于團(tuán)隊在光學(xué)追蹤與裸手追蹤方面的技術(shù)積累，PICO創(chuàng)新性地提出了一套基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)手柄追蹤架構(gòu)，其融合了慣性測量單元（IMU）、光學(xué)傳感器和手部圖像信息。在手柄被遮擋的情況下，裸手追蹤能夠提供更加精準(zhǔn)的觀測，同時手柄又能為手部追蹤提供準(zhǔn)確預(yù)測，兩者深度融合、相互輔助。

裸手追蹤

由于手柄的遮擋，通常裸手視覺特征并不明顯，這也常常會引發(fā)追蹤失效。針對該難點，裸手算法團(tuán)隊創(chuàng)新性地提出Down-Top的端到端6DoF追蹤算法，通過有效利用多目時序的全局上下文信息，一次性準(zhǔn)確且穩(wěn)定地預(yù)測手柄位姿信息，能夠在手柄追蹤失效時，及時提供魯棒的6DoF位姿。

1. 模型背景

目前普遍的裸手追蹤算法是基于Top-Down結(jié)構(gòu)，即基于Detection模型檢測出手部的bounding-box框，再利用bounding-box框?qū)⑹植繐高x出來，如下圖所示：

該結(jié)構(gòu)可以獲得更高的精度，但是在平舉、自然垂下等特殊動作場景中，由于小手柄遮擋或離得較遠(yuǎn)等原因，手部放大之后模糊的地方較多，如下圖所示：

圖片

圖片

這種情況下，Top-Down的結(jié)構(gòu)就很難檢測出手腕點的位置，從而導(dǎo)致解算失敗和手柄失效。但Down-Top的結(jié)構(gòu)，則可以幫助PICO從大圖中的手臂、身體等信息，判斷手腕點的位置。

2. 模型結(jié)構(gòu)圖

3. 評測結(jié)果

從使用Top-Down模型結(jié)構(gòu)和Down-Top模型結(jié)構(gòu)在平舉和垂下等場景中的實驗結(jié)果中，可以發(fā)現(xiàn)，使用Down-Top方案，能夠在精度相近的情況下，獲得更高的檢出率：36%->93%。

Top-Down

Down-Top

融合算法

1. 全新挑戰(zhàn)

傳統(tǒng)光學(xué)追蹤方案，依賴手柄上一個顯著突出的物理結(jié)構(gòu)（即追蹤光環(huán)），來確保手柄在各種各樣的握持角度和位置條件下，都有足夠的LED燈點可以被定位攝像頭觀測到。多個LED光點在圖像上的2D位置被確定后，則可以進(jìn)行PNP解算，輔以手柄內(nèi)高幀率的IMU，則可以獲得精確的手柄高頻定位結(jié)果，從而為用戶提供準(zhǔn)確、流暢的追蹤體驗。

PICO 4 手柄

Quest 2手柄

但去掉光環(huán)后，追蹤算法則面臨較大挑戰(zhàn)。由于LED只能夠被稀疏的布置于手柄本體的幾個區(qū)域，且更少的數(shù)量和更易被遮擋的情況，也導(dǎo)致攝像頭經(jīng)常性地只能觀測到有限的紅外燈，甚至是零個。此時算法僅依賴IMU的慣性遞推解算，并不能長時間提供穩(wěn)定可靠的定位信息。

PICO算法團(tuán)隊經(jīng)過多輪探索預(yù)研后，創(chuàng)新提出了融合慣性測量單元（IMU）、光學(xué)傳感器和手部圖像信息的多模態(tài)融合方案。該方案基于手勢識別和手柄光學(xué)追蹤的互補(bǔ)性，完美地解決了上述的一系列挑戰(zhàn)和難點。團(tuán)隊將其命名為Centaur多模態(tài)融合算法。

2. Centaur多模態(tài)融合算法的構(gòu)成

Centaur多模態(tài)融合算法將視覺信息和慣性信息進(jìn)行融合，進(jìn)而得到手柄位姿及速度的最優(yōu)估計，并提供給上層應(yīng)用層。融合算法構(gòu)成如下圖所示：

圖片

圖中各模塊的功能：

• 多個Global-Shutter IR camra布置在頭戴四周，正常曝光幀能夠采集到人手的特征，低曝光幀則能夠在抑制大部分環(huán)境光照干擾時獲取到手柄中的LED位置。
• 一個IMU模塊布置在手柄內(nèi)部，提供手柄運動時的加速度和角速率信息。
• 3-DOF模塊借助純IMU數(shù)據(jù)估計手部的旋轉(zhuǎn)信息。
• 基于深度學(xué)習(xí)手勢檢測及追蹤模塊（AI-based hand detection & tracking），通過有效利用多目時序的全局上下文信息，準(zhǔn)確預(yù)測手柄的位姿信息。
• 光學(xué)定位模塊（Led detection / matching & pose estimation），使用3-DOF提供的姿態(tài)和LED在手柄上的分布等先驗信息，通過智能匹配機(jī)制確定圖像光斑和led燈的匹配關(guān)系，得到手柄位姿的單幀估計值。
• 多幀融合濾波器（Multi-State-ESKF），將得到的手部位姿、手柄IMU數(shù)據(jù)、LED光學(xué)估計位姿及LED匹配關(guān)系等信息進(jìn)行融合計算，得到高精度、高幀率的手柄位置、旋轉(zhuǎn)及速度信息，并更新給系統(tǒng)接口，供上層應(yīng)用使用。

3. 追蹤與融合

當(dāng)算法首次運行，或處于3DOF狀態(tài)時，由于沒有連續(xù)追蹤產(chǎn)生的時序先驗信息，因此需要Bootstrap from scratch的初始化方案。在LED及手勢兩種信息的加持下，初始化算法相比傳統(tǒng)光學(xué)定位也做了相應(yīng)的升級，并運行LED初始化和手勢初始化兩種算法，最先解出正確初始狀態(tài)的算法將使用手柄初始位姿及速度初始化融合濾波器，從而顯著改善各種握姿下手柄初始化的速度和成功率。

而當(dāng)算法初始化完成并進(jìn)入追蹤狀態(tài)時，算法流程又如下圖所示：

圖片

• Step 1. 當(dāng)一個新的圖像幀到來時，基于滑窗中的歷史幀狀態(tài)，利用IMU數(shù)據(jù)進(jìn)行慣性遞推解算，得到新圖像幀的狀態(tài)預(yù)測值。
• Step 2. 基于預(yù)測的手柄位姿能在當(dāng)前幀圖像中得到手柄LED或手部特征的預(yù)測位置，下面具體分類描述：

• 針對正常曝光幀： 采用上文所述的Down-Top的網(wǎng)絡(luò)結(jié)構(gòu)，直接得到手腕關(guān)節(jié)6DOF的位姿結(jié)果，使用“手柄-手腕”對齊關(guān)系轉(zhuǎn)換成手柄位姿，添加為一個位姿觀測，作為當(dāng)前幀的約束。
• 針對低曝光幀： 在區(qū)域中檢測得到LED光斑的2D位置。基于最近鄰匹配算法，將預(yù)測的2D點集與檢測得到的2D點集進(jìn)行匹配。使用PNP solver得到手柄位姿估計，將位姿結(jié)果和2D匹配結(jié)果都添加到觀測factor，作為當(dāng)前幀約束。

• Step 3. 最終的融合算法采用了Multi-State ESKF方案，采取了松耦合/緊耦合結(jié)合的模式，對追蹤效果有顯著改善的同時節(jié)省計算量并保證穩(wěn)定性。

4. Centuar多模態(tài)融合算法收益

• 下圖為僅有 3 顆 LED 燈時手柄靜止?fàn)顟B(tài)下的追蹤效果，多幀緊耦合比單幀松耦合的結(jié)果更加精確，追蹤更加穩(wěn)定，波動顯著減小：

• 光學(xué)觀測的抖動非常明顯，±3sigma范圍約為「x軸16mm，y軸4mm，z軸25mm」。實際動作是放在頭戴正前下方，露出三顆紅外燈并保持靜止，因此深度方向上（xz）誤差顯著大于與深度正交方向（y）上的誤差。
• 松耦合eskf對光學(xué)觀測抖動有抑制作用，三軸向抖動范圍壓到「x軸6mm，y軸2.5mm，z軸9mm左右」，但速度估計波動仍有10mm/s。
• 多幀緊耦合的結(jié)果是最好的，軌跡明顯更平滑，抖動范圍約「x軸2mm，y軸1mm，z軸3mm左右」，速度抖動范圍3mm/s左右，相比原Filter各項誤差指標(biāo)大約有3倍收益。

圖片

• 當(dāng)做翻手動作，徹底遮擋所有LED時，算法融合手勢定位信息與IMU信息，能夠保持手柄的追蹤狀態(tài)與追蹤精度，在各種場景下均能切換自如，絲滑操作。
• 為了驗證追蹤效果，PICO團(tuán)隊還進(jìn)行了極客玩家的極限測試，在運動健身、音游等需要快速甩動手柄的場景下，PICO多模態(tài)融合算法，都能準(zhǔn)確且穩(wěn)定地追蹤手部和手柄的位置、姿態(tài)。

PICO 無燈環(huán)小手柄

自研同步多相機(jī)系統(tǒng)

數(shù)據(jù)采集與自動標(biāo)注

PICO數(shù)據(jù)實驗室構(gòu)建了多模態(tài)的同步相機(jī)系統(tǒng)，不僅能獲得大量且高精度的數(shù)據(jù)信息，也為技術(shù)和產(chǎn)品的研發(fā)奠定了堅實基礎(chǔ)。該系統(tǒng)硬件方面包括工業(yè) RGB 相機(jī)陣列，結(jié)構(gòu)光掃描儀，光學(xué)動捕相機(jī)系統(tǒng)，以及 VR 頭戴，軟件方面包括點云注冊、時空間標(biāo)定、手勢手柄自動標(biāo)注等，數(shù)據(jù)采集與自動標(biāo)注流程包含采集前的準(zhǔn)備和數(shù)據(jù)采集作業(yè)，其中數(shù)據(jù)采集作業(yè)又分為兩個階段。

• 采集前的準(zhǔn)備

我們采用結(jié)構(gòu)光掃描儀獲取手柄和 IR 光球表面的密集點云獲得了光球到手柄模型的轉(zhuǎn)換關(guān)系。我們還將光球綁定到了 tag 標(biāo)定板上，通過觀測標(biāo)定板獲得了包括 VR 頭戴在內(nèi)的傳感器參數(shù)；對于各個傳感器的時間線，我們采用兩種方式來對齊：一是侵入式地共用外部時鐘信號，二是通過快速舞動頭戴設(shè)備，從而獲得 VR 頭戴軌跡和與其綁定的光球軌跡來進(jìn)行時、空間對齊。

采集前，結(jié)構(gòu)光掃描及注冊

• 數(shù)據(jù)采集作業(yè)

• 第一步，以多視角的圖像作為輸入，使用自研的手部姿態(tài)標(biāo)注算法獲得關(guān)鍵點位置。在這一環(huán)節(jié)中，為保持?jǐn)?shù)據(jù)的高精度，我們提出了基于解耦表示的手勢姿態(tài)估計算法。我們構(gòu)建了 2D 視覺空間和 3D 節(jié)點空間，并通過迭代的方式不斷優(yōu)化手部姿態(tài)。同時，為了解決數(shù)據(jù)標(biāo)注冷啟動時訓(xùn)練數(shù)據(jù)來源的問題，我們還設(shè)計了多視角自監(jiān)督的框架。相關(guān)算法已發(fā)表于 ICCV2023 會議中。
• 第二步，在獲得不同視角觀測的手部姿態(tài)后，我們?nèi)诤隙嘁暯切畔ⅰＭㄟ^使用三角化方法，通過 RANSAC 獲取多視角融合后的 3D 手部姿態(tài)。在此基礎(chǔ)上，再結(jié)合每個手部關(guān)鍵點的置信度進(jìn)行微調(diào)優(yōu)化。
• 第三步，以上一步獲得的 3D 手部關(guān)鍵點為目標(biāo)，綜合考慮骨骼位置、運動速度、手部關(guān)節(jié)的旋轉(zhuǎn)、手勢和手柄之間的碰撞關(guān)系等多種約束，對前序的結(jié)果進(jìn)行優(yōu)化。至此，我們獲得了手的關(guān)鍵點以及手和手柄的相對位置關(guān)系。
• 第一階段：相機(jī)系統(tǒng)同步采集工業(yè)相機(jī)和 VR 頭戴相機(jī)的圖像，并同時采集光學(xué)動捕相機(jī)捕捉的標(biāo)志點坐標(biāo)。

• 第二階段，被采集者保持手相對手柄姿勢不變，在不同場景中揮動手柄獲得其軌跡。

通過光球與手柄之間、階段一獲得的手和手柄之間的空間關(guān)系，以及階段二采集的光球軌跡，就能獲得手勢、手柄在采集空間中的軌跡。另一方面，通過光球與頭戴之間的空間關(guān)系與階段二跟蹤獲得的光球軌跡，就能將手勢、手柄投影到頭戴相機(jī)中獲得數(shù)據(jù)標(biāo)簽了。

總結(jié)

PICO研發(fā)團(tuán)隊始終致力于為全球用戶創(chuàng)造優(yōu)質(zhì)的XR技術(shù)和產(chǎn)品體驗。手柄小型化設(shè)計是XR交互方案設(shè)計中的創(chuàng)新性和突破性進(jìn)展，而PICO自研的Centaur多模態(tài)追蹤算法，不僅讓「手柄小型化」完成了技術(shù)突破并成功落地，也為后續(xù)的人機(jī)交互設(shè)計提供了新的思路和可能性。