本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯(lián)系出處。

男子騎自行車，越過沙丘，無影無蹤，目擊者稱就消失在眼前：

因擊球過猛，網(wǎng)球運動員攜球拍共同湮滅：

男大學生熱愛徒步運動，進入深山戈壁后失蹤：

白色面包車離奇消失，查遍監(jiān)控攝像頭均未發(fā)現(xiàn)蹤影：

妙齡少女廣場起舞，光天白日下原地消失不知去向：

中學男生周末蕩秋千，飛到半空只剩秋千椅，家長稱1秒前孩子還安然無恙：

馬術選手騎馬越過柵欄后人馬雙雙消失，網(wǎng)民懷疑任意門現(xiàn)世：

帆船選手出海后離奇失蹤，主辦方搜尋后仍未獲蹤影：

詭異的現(xiàn)象，讓人懷疑視頻中使用了和九又四分之三站臺同樣的魔法。

沒錯，這就是今年ECCV上最神奇的AI隱身衣技術。

讓網(wǎng)友們驚嘆，此情此景堪稱滅霸。

甚至開始擔心，如果這個技術被小偷用上，家具都會“飄走”。

也有外國網(wǎng)友開心，覺得可以用來屏蔽廣告，很不錯。

這件隱身衣，究竟是怎么創(chuàng)造出來的？

基于光流邊緣引導的視頻補全算法

AI這種完美去水印、刪人物的「隱身」超能力，實際上是一種基于光流的視頻修復算法。

此前，量子位就曾經(jīng)介紹過港中大商湯聯(lián)合實驗室和南洋理工大學的光流引導視頻修復算法。

不過，以往的基于光流的方法往往無法保留運動邊界的銳度，使得修復后的畫面不夠平滑。

另外，由于此前的方法是在相鄰幀之間的局部光流連接中傳播色彩，但并非所有視頻中被水印、物體遮住的區(qū)域都可以通過這種方式恢復，就會造成偽影。

為了解決這些問題，來自弗吉尼亞大學和Facebook的研究團隊主要采取了以下三種方法：

• 分段平滑流補全（Piecewise-smooth flow completion）
• 非局部流連接（Non-local flow neighbors）
• 無縫融合（Seamless blending）

具體而言，首先，網(wǎng)絡的輸入包括待修復的視頻本身，和一個二進制掩碼視頻，用以指明哪些部分需要算法合成。

然后，計算相鄰幀之間的光流，以及一組非相鄰幀之間的光流，提取并補完流的邊緣。下圖中紅線部分，即為神經(jīng)網(wǎng)絡“腦補”出來的邊緣。

接著用流邊緣來引導視頻中被水印/人物擋住的缺失區(qū)域的修復。

下一步，是按照光流的軌跡，為每個缺失的像素計算出一組候選像素。每個候選像素都有一個對應的置信度分數(shù)和一個二進制有效性指標。

以上圖為例，綠色區(qū)域為缺失的部分，黃線、橙線和棕線分別代表第一非局部幀、當前幀和第三非局部幀的掃描線。

可以看到，通過跟蹤光流軌跡（黑色虛線），圖上藍色的像素點的候選像素被計算了出來。但由于人腿的運動形成了遮擋，計算紅色像素點的候選像素就出現(xiàn)了困難。

但在引入非相鄰幀的非局部光流后，紅色像素點就得到了額外的非局部領域（黃線和棕線上的紅色像素點），由此，就可以計算出被人腿遮擋的真實背景。

然后，再在梯度域中，使用置信度加權平均，融合每個缺失像素點的候選對象以重建顏色。

最后，迭代這個過程，直到?jīng)]有缺失像素為止。

實驗結果：SOTA

從視覺效果上來說，這只AI的隱身大法修煉得十分成功。

與Diffusion和商湯的徐瑞等人的算法相比，新方法提供了更為清晰的運動邊界，效果更加平滑。

那么定量對比的結果又如何呢？直接來看數(shù)據(jù)。

在DAVIS數(shù)據(jù)集上，研究人員將該方法與現(xiàn)有方法進行對比，比較了水印之類的靜止對象和運動對象兩類合成掩碼的視頻補完結果。

結果顯示，新方法在各項指標上都達到了最佳性能。

關于作者

這件酷炫的AI隱身衣，由弗吉尼亞理工大學和Facebook打造。

一作是弗吉尼亞理工大學的三年級博士生Chen Gao。他的研究方向是計算攝影和計算機視覺，師從弗吉尼亞理工大學助理教授Jia-Bin Huang。

這項工作是他在Facebook實習期間完成。目前，他在谷歌擔任研究實習生。

作者還表示，會很快開源這件AI隱形衣的代碼，并放出在線Demo。

傳送門

項目地址：
http://chengao.vision/FGVC/

論文地址：
https://arxiv.org/abs/2009.01835