斯坦福炒蝦機(jī)器人作者，又出新作了。

這次，機(jī)器人不是給我們炒飯了，而是給我們做外科手術(shù)！

最近，約翰霍普金斯和斯坦福大學(xué)的研究者們，進(jìn)行了一項(xiàng)新的探索——

著名的醫(yī)療機(jī)器人達(dá)芬奇，是否可以通過(guò)模仿學(xué)習(xí)，來(lái)學(xué)習(xí)外科手術(shù)的操作任務(wù)呢？

經(jīng)過(guò)實(shí)驗(yàn)后，他們成功了！

組織操作、針頭處理和打結(jié)這三項(xiàng)基本的手術(shù)任務(wù)，達(dá)芬奇都可以自己獨(dú)立完成了。

首先是需要醫(yī)學(xué)生苦練指法的縫合打結(jié)技術(shù)，只見(jiàn)達(dá)芬奇「飛針走線」，很熟練地就可以把結(jié)打好：

接下來(lái)是針的拾取和移交，達(dá)芬奇也能夠一次精準(zhǔn)操作，動(dòng)作絕無(wú)拖泥帶水。

第三大任務(wù)是提起組織，可以看到達(dá)芬奇選擇了正確著力點(diǎn)，輕松提起了組織。

最重要的是，以上動(dòng)作全部都是達(dá)芬奇自主完成的！

??翻開(kāi)研究作者一欄，赫然出現(xiàn)了炒蝦機(jī)器人的作者Tony Zhao和Chelsea Finn。??

果然，這種程度的精細(xì)操作，怎么看都有一股熟悉的味道。

論文地址：https://arxiv.org/abs/2407.12998

博客地址：https://surgical-robot-transformer.github.io/

要知道，跟家庭環(huán)境中的桌面操作相比，手術(shù)任務(wù)需要精確操縱可變形物體，還要面對(duì)不一致的照明和遮擋的硬感知問(wèn)題。

另外，手術(shù)機(jī)器人通常可能還有不準(zhǔn)確的本體感覺(jué)和遲滯。

這些問(wèn)題，他們都是如何克服的？

大型臨床數(shù)據(jù)存儲(chǔ)庫(kù)，機(jī)器人可以學(xué)習(xí)了

大規(guī)模模仿學(xué)習(xí)，在操作任務(wù)的通用系統(tǒng)上顯示出了巨大的前景，比如讓機(jī)器人給我們做家務(wù)。

不過(guò)這次研究者們盯上的，是外科領(lǐng)域。

外科領(lǐng)域是一個(gè)尚未開(kāi)發(fā)、潛力巨大的領(lǐng)域，尤其是在達(dá)芬奇手術(shù)機(jī)器人的加持之下。

截止2021年，全球已經(jīng)有67個(gè)國(guó)家使用了6500套達(dá)芬奇系統(tǒng)，進(jìn)行了超過(guò)1000萬(wàn)例手術(shù)。

而且，這些手術(shù)的過(guò)程都被全程記錄了下來(lái)，從而讓我們有了大量的演示數(shù)據(jù)存儲(chǔ)庫(kù)。

如此大規(guī)模的數(shù)據(jù)，能否利用起來(lái)，構(gòu)建一個(gè)自主手術(shù)的通才系統(tǒng)？

然而，當(dāng)研究者們下手研究時(shí)卻發(fā)現(xiàn)：讓達(dá)芬奇機(jī)器人通過(guò)模仿學(xué)習(xí)來(lái)做外科手術(shù)，存在一個(gè)難點(diǎn)——

由于達(dá)芬奇系統(tǒng)本身的特殊性，就導(dǎo)致了獨(dú)特的挑戰(zhàn)，阻礙了模仿學(xué)習(xí)的實(shí)施。

右上是真實(shí)的醫(yī)療環(huán)境，右下是研究人員的實(shí)驗(yàn)設(shè)置

而且，由于聯(lián)合測(cè)量不精確，其正向運(yùn)動(dòng)學(xué)就會(huì)不一致，如果只是簡(jiǎn)單地使用這種近似運(yùn)動(dòng)學(xué)數(shù)據(jù)訓(xùn)練一個(gè)策略，通常會(huì)導(dǎo)致任務(wù)的失敗。

很簡(jiǎn)單的視覺(jué)伺服任務(wù)，機(jī)器人也無(wú)法執(zhí)行。訓(xùn)練輸出絕對(duì)末端執(zhí)行器姿勢(shì)的策略（這是訓(xùn)練機(jī)器人策略的常用方法），在所有任務(wù)中的成功率都接近于0。

怎樣克服這種限制？

團(tuán)隊(duì)發(fā)現(xiàn)，達(dá)芬奇系統(tǒng)的相對(duì)運(yùn)動(dòng)，比它的絕對(duì)正向運(yùn)動(dòng)學(xué)更加一致。

因此，他們想到一個(gè)辦法：引入一種相對(duì)動(dòng)作公式，使用它的近似運(yùn)動(dòng)學(xué)數(shù)據(jù)，來(lái)進(jìn)行策略訓(xùn)練和部署。

他們考慮了以下三個(gè)選項(xiàng)：以相機(jī)為中心、以工具為中心和混合相關(guān)操作。

以相機(jī)為中心的動(dòng)作表示是一種基線方法，它將動(dòng)作建模為末端執(zhí)行器相對(duì)于內(nèi)窺鏡尖端的絕對(duì)姿勢(shì)。另外兩個(gè)是定義相對(duì)于當(dāng)前工具（即末端執(zhí)行器）框架或內(nèi)窺鏡尖端框架的動(dòng)作的相對(duì)公式

然后，使用圖像作為輸入和上述動(dòng)作表示，來(lái)訓(xùn)練策略。

這一點(diǎn)，他們的做法跟此前的工作不一樣，后者會(huì)使用運(yùn)動(dòng)學(xué)數(shù)據(jù)作為輸入，然而在這項(xiàng)工作中，達(dá)芬奇的運(yùn)動(dòng)學(xué)數(shù)據(jù)可能并不可靠。

他們的模型基于ACT，一種基于Transformer的架構(gòu)。

團(tuán)隊(duì)提出了一種策略設(shè)計(jì)，僅將圖形作為輸入，并輸出相對(duì)姿態(tài)軌跡

如果這種方法成功，那么包含近似運(yùn)動(dòng)學(xué)的大型臨床數(shù)據(jù)存儲(chǔ)庫(kù)，就可以直接用于機(jī)器人學(xué)習(xí)，而無(wú)需進(jìn)一步校正了。

這對(duì)于機(jī)器人的臨床手術(shù)操作，無(wú)疑意義重大。

果然，在引入相對(duì)動(dòng)作公式后，團(tuán)隊(duì)便利用近似運(yùn)動(dòng)學(xué)數(shù)據(jù)，在達(dá)芬奇上成功地演示了模仿學(xué)習(xí)，不僅不需要進(jìn)一步的運(yùn)動(dòng)學(xué)矯正，而且效果也大大優(yōu)于基線方法。

實(shí)驗(yàn)表明，模仿學(xué)習(xí)不僅可以有效地學(xué)習(xí)復(fù)雜的手術(shù)任務(wù)，還能推廣到新的場(chǎng)景，比如在看不見(jiàn)的真實(shí)人體組織上。

另外，腕式攝像機(jī)對(duì)于學(xué)習(xí)手術(shù)操作任務(wù)，也十分重要。

現(xiàn)在，除了之前已經(jīng)展示的組織操作、針頭處理和打結(jié)等自主任務(wù)外，達(dá)芬奇機(jī)器人還可以完成下面多種操作。

零樣本泛化

斯坦福團(tuán)隊(duì)的模型顯示出了適應(yīng)新場(chǎng)景的能力，例如在出現(xiàn)未知的動(dòng)物組織的情況下。

這是一段達(dá)芬奇在縫合豬肉并打結(jié)的視頻——

換成是雞肉，達(dá)芬奇也能精確地拿起放在肉表面的手術(shù)針。

這顯示出其在未來(lái)臨床研究中進(jìn)行擴(kuò)展的前景。

重試行為

那么，如果存在一些環(huán)境擾動(dòng)，達(dá)芬奇是否還能穩(wěn)定發(fā)揮呢？

可以看到，在其他器械突然闖入，并將手術(shù)縫合線故意剝落之后，達(dá)芬奇并沒(méi)有停下動(dòng)作，仍然將打結(jié)行為進(jìn)行了下去。

在下面整段視頻中，達(dá)芬奇在第一次操作中沒(méi)有拾起手術(shù)針，它很快意識(shí)到了這一事實(shí)，通過(guò)自動(dòng)調(diào)整成功拾取。

重復(fù)性測(cè)試

臨床手術(shù)非同兒戲，必須保證臨床機(jī)器人具有可重復(fù)性，「萬(wàn)無(wú)一失」是其必要能力。

研究團(tuán)隊(duì)放出了達(dá)芬奇的重復(fù)性測(cè)試視頻，在不同視角下觀察它的多次操作，基本無(wú)可挑剔。

技術(shù)路徑

如下圖所示，達(dá)芬奇機(jī)器人的dVRK系統(tǒng)，由一個(gè)內(nèi)窺鏡攝像操縱器（ECM）和兩個(gè)共享同一機(jī)器人底座的患者側(cè)操縱器（PSM1、PSM2）組成。

每個(gè)手臂都是被動(dòng)設(shè)置關(guān)節(jié)的順序組合，而后面是機(jī)動(dòng)主動(dòng)關(guān)節(jié)。

然而，一般情況下，如果在所有關(guān)節(jié)中都使用電位器，會(huì)導(dǎo)致手臂的正向運(yùn)動(dòng)學(xué)不準(zhǔn)確，甚至有高達(dá)5厘米的誤差。

不幸的是，dVRK提供的正向運(yùn)動(dòng)學(xué)數(shù)據(jù)并不穩(wěn)定。這是因?yàn)樵O(shè)置關(guān)節(jié)（藍(lán)色）僅使用電位計(jì)進(jìn)行關(guān)節(jié)測(cè)量，并不可靠。主動(dòng)關(guān)節(jié)（粉色）同時(shí)使用電位器和電機(jī)編碼器，提高了精度

為了讓達(dá)芬奇完成通過(guò)模仿學(xué)習(xí)來(lái)完成手術(shù)操作任務(wù)這一目標(biāo)，鑒于機(jī)器人的前向運(yùn)動(dòng)學(xué)不準(zhǔn)確，團(tuán)隊(duì)提出了前文中所提到的三種動(dòng)作表示法，其中混合相對(duì)方法進(jìn)一步提高了平移動(dòng)作的準(zhǔn)確性。

執(zhí)行細(xì)節(jié)

為了訓(xùn)練可行的策略，研究使用帶有Transformer的動(dòng)作分塊(ACT)和擴(kuò)散策略。

他們使用了內(nèi)窺鏡和手腕相機(jī)圖像作為輸入來(lái)訓(xùn)練策略，這些圖像均縮小為224x224x3的圖像尺寸。

手術(shù)內(nèi)窺鏡圖像的原始輸入尺寸為1024x1280x3，手腕圖像為480x640x3。

運(yùn)動(dòng)學(xué)數(shù)據(jù)不像其他模仿學(xué)習(xí)方法中常見(jiàn)的那樣作為輸入提供，這是因?yàn)橛捎赿VRK的設(shè)計(jì)限制，運(yùn)動(dòng)學(xué)數(shù)據(jù)通常不一致。

策略輸出包括末端執(zhí)行器(delta) 位置、(delta) 方向和雙臂下頜角度。

實(shí)驗(yàn)過(guò)程

在這次實(shí)驗(yàn)中，研究者的目標(biāo)是弄清這些問(wèn)題的答案——

1. 模仿學(xué)習(xí)是否足以應(yīng)對(duì)復(fù)雜的外科操作任務(wù)？

2. dVRK的相對(duì)運(yùn)動(dòng)是否比其絕對(duì)前向運(yùn)動(dòng)學(xué)更穩(wěn)定？

3. 使用腕式攝像頭是否對(duì)提高成功率至關(guān)重要？

4. 模型在未見(jiàn)過(guò)的新場(chǎng)景中能否有效泛化？

首先需要評(píng)估的是，達(dá)芬奇的相對(duì)運(yùn)動(dòng)是否比其絕對(duì)前向運(yùn)動(dòng)學(xué)更加一致。

評(píng)估方法是在不同的機(jī)器人配置下，使用絕對(duì)與相對(duì)運(yùn)動(dòng)公式重復(fù)記錄參考軌跡。

具體來(lái)說(shuō)，機(jī)器人需要在模擬人體腹部的圓頂，使用相同的孔，將手臂和內(nèi)窺鏡大致放置在相似的位置。

這項(xiàng)任務(wù)不簡(jiǎn)單，因?yàn)榭妆葍?nèi)窺鏡和工具軸的尺寸大得多，而且必須通過(guò)移動(dòng)安裝接頭，將工具手動(dòng)放置到孔中。

總體而言，實(shí)驗(yàn)表明，在存在測(cè)量誤差的情況下，相對(duì)運(yùn)動(dòng)的一致性更高。因此，將策略動(dòng)作建模為相對(duì)運(yùn)動(dòng)是更好的選擇。

在這項(xiàng)配置中，共收集了224次組織提起實(shí)驗(yàn)、250次針的拾取和移交實(shí)驗(yàn)，以及500次打結(jié)實(shí)驗(yàn)

圖5展示了在各種機(jī)器人配置下重復(fù)錄制的參考軌跡，以此來(lái)測(cè)試所有動(dòng)作表示的可重復(fù)性。

左圖顯示了所有動(dòng)作表示法的參考軌跡的完美重構(gòu)，因?yàn)樽詤⒖架壽E采集以來(lái)，機(jī)器人關(guān)節(jié)沒(méi)有移動(dòng)過(guò)。

而當(dāng)機(jī)器人向左或向右移動(dòng)時(shí)（中、右圖），以攝像頭為中心的動(dòng)作表示法無(wú)法跟蹤參考軌跡，而相對(duì)動(dòng)作表示法則能很好地跟蹤參考軌跡。

各種機(jī)器人配置下的軌跡跟蹤

除此之外，團(tuán)隊(duì)還評(píng)估了使用各種動(dòng)作表示法訓(xùn)練的模型的任務(wù)成功率。

結(jié)果表明，使用相對(duì)動(dòng)作表述（以工具為中心的動(dòng)作表述和混合相對(duì)動(dòng)作表述）訓(xùn)練出來(lái)的策略表現(xiàn)良好，而使用絕對(duì)正向運(yùn)動(dòng)學(xué)訓(xùn)練出來(lái)的策略則失敗了。

而在下圖中，最上面一行，就是組織提起任務(wù)中，機(jī)器人需要抓住橡膠墊（組織）的一角，將其向上提起。

在訓(xùn)練期間，組織的一角保持著紅色框內(nèi)，顯示測(cè)試時(shí)角的配置。

中間一行，是針的拾取和移交。

在訓(xùn)練過(guò)程中，針被隨機(jī)放在了紅色盒子內(nèi)。測(cè)試時(shí)，針的中心隆起被放置在如圖所示的9個(gè)位置，以在評(píng)估期間強(qiáng)制執(zhí)行一致的設(shè)置。

下面一行，機(jī)器人在打結(jié)的過(guò)程中，需要使用左側(cè)的繩子形成一個(gè)環(huán)，通過(guò)環(huán)來(lái)抓住繩子的末端，然后將夾具拉離彼此。

在訓(xùn)練期間，來(lái)自墊子的繩子位置隨機(jī)放在紅色方框內(nèi)，而測(cè)試時(shí)，繩子被放在紅色方框中央。

下面的視頻顯示了使用手臂的絕對(duì)前向運(yùn)動(dòng)學(xué)（以攝像頭為中心的動(dòng)作）訓(xùn)練策略的結(jié)果。

由于達(dá)芬奇手臂的前向運(yùn)動(dòng)學(xué)存在誤差，在訓(xùn)練和推理之間會(huì)發(fā)生顯著變化，因此這些策略無(wú)法完成任務(wù)。

而且，研究人員還觀察到，在學(xué)習(xí)外科手術(shù)操作任務(wù)時(shí)，腕部攝像頭能帶來(lái)顯著的性能提升。

顯然，能夠自主學(xué)習(xí)的手術(shù)機(jī)器人，有望在未來(lái)進(jìn)一步擴(kuò)展外科醫(yī)生的能力。

本文轉(zhuǎn)自新智元 ，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/Gpj71vx37skw8JPTMH9ogQ??