幀插值（Frame Interpolation）是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)關(guān)鍵任務(wù)，模型需要根據(jù)給定的兩個(gè)幀，來預(yù)測(cè)、合成平滑的中間圖像，在現(xiàn)實(shí)世界中也有極大的應(yīng)用價(jià)值。

常見的幀插值應(yīng)用場(chǎng)景就是對(duì)提升一些幀率不夠的視頻，一些設(shè)備都配有專門的硬件對(duì)輸入視頻的幀率進(jìn)行采樣，使得低幀率的視頻也可以在高幀率顯示上進(jìn)行流暢地播放，不用「眨眼補(bǔ)幀」了。

隨著深度學(xué)習(xí)模型越來越強(qiáng)大，幀插值技術(shù)可以從正常幀率的錄像中合成慢動(dòng)作視頻，也就是合成更多的中間圖像。 

在智能手機(jī)不斷普及的情況下，數(shù)字?jǐn)z影對(duì)幀插值技術(shù)也有了新需求。

正常情況下，我們拍照片通常都是在幾秒鐘之內(nèi)連續(xù)拍下幾張照片，然后再從這些照片中選出更好的「照騙」。

這類圖片有一個(gè)特點(diǎn)：場(chǎng)景基本重復(fù)，主體人物只有少量的動(dòng)作、表情變化。

如果在這類圖片下進(jìn)行幀插值就會(huì)產(chǎn)生一個(gè)神奇的效果：照片動(dòng)了起來，變成了視頻！通常情況下視頻都要比照片更加有代入感和時(shí)刻感。 

是不是有種「實(shí)況照片」的感覺。

但幀插值的一個(gè)主要問題就是沒辦法有效地處理大型場(chǎng)景的運(yùn)動(dòng)。 

傳統(tǒng)的幀插值都是對(duì)幀率進(jìn)行上采樣，基本上就是對(duì)近乎重復(fù)的照片進(jìn)行插值，如果兩張圖片的時(shí)間間隔超過了1秒，甚至更多，那就需要幀插值模型能夠了解物體的運(yùn)動(dòng)規(guī)律，也是目前幀插值模型的主要研究?jī)?nèi)容。

最近，Google Research團(tuán)隊(duì)提出了一個(gè)新的幀插值模型FLIM，能夠?qū)\(yùn)動(dòng)差別比較大的兩張圖片進(jìn)行幀插值。 

之前的幀插值模型往往很復(fù)雜，需要多個(gè)網(wǎng)絡(luò)來估計(jì)光流（optical flow）或者深度，還需要一個(gè)單獨(dú)的網(wǎng)絡(luò)專門用于幀合成。而FLIM只需要一個(gè)統(tǒng)一網(wǎng)絡(luò)，使用多尺度的特征提取器，在所有尺度上共享可訓(xùn)練的權(quán)重，并且可以只需要幀就可以訓(xùn)練，不需要光流或者深度數(shù)據(jù)。 

FLIM的實(shí)驗(yàn)結(jié)果也證明了其優(yōu)于之前的研究成果，能夠合成高質(zhì)量的圖像，并且生成的視頻也更連貫。代碼和預(yù)訓(xùn)練模型都已開源。 

論文地址：https://arxiv.org/pdf/2202.04901代碼地址：https://github.com/google-research/frame-interpolation

模型架構(gòu)

FLIM模型的架構(gòu)中包含三個(gè)主要的階段。 

1. 尺度無關(guān)的特征抽取（scale-agnostic feature extraction） 

FLIM的特征抽取器的主要特點(diǎn)就是在流預(yù)測(cè)階段（flow prediction stage）權(quán)重共享，能夠同時(shí)在粗粒度和細(xì)粒度的分辨率下得到權(quán)重。 

首先對(duì)兩個(gè)輸入圖像創(chuàng)建一個(gè)圖像金字塔，然后在每層圖像金字塔使用一個(gè)共享的UNet編碼器構(gòu)建特征金字塔，并且使用卷積層抽取了4個(gè)尺度的特征。 需要注意的是，在同一個(gè)深度的金字塔層級(jí)上，都使用相同的卷積權(quán)重以創(chuàng)建兼容的多尺度特征（compatible multiscale features）。 

特征提取器的最后一步通過連接不同深度但空間維度相同的特征圖，構(gòu)建了尺度無關(guān)的特征金字塔。最細(xì)粒度的特征只能聚合一個(gè)特征圖，次細(xì)粒度是兩個(gè)，其余的可以聚合三個(gè)共享特征圖。 

2. 運(yùn)動(dòng)/流估計(jì)（motion/flow estimation） 

提取特征金字塔后，需要用它們來計(jì)算每個(gè)金字塔的雙向運(yùn)動(dòng)，和之前的研究相同，從最粗粒度的一層開始進(jìn)行運(yùn)動(dòng)估計(jì)。與其他方法不同的是，F(xiàn)LIM從中間幀到輸入，直接預(yù)測(cè)面向任務(wù)的流。 

如果按照常規(guī)的訓(xùn)練方法，使用ground truth光流來計(jì)算兩個(gè)輸入幀之間的光流是無法實(shí)現(xiàn)的，因?yàn)闊o法從尚待計(jì)算的中間幀預(yù)測(cè)光流。但在端到端的幀插值系統(tǒng)中，網(wǎng)絡(luò)實(shí)際上已經(jīng)能夠基于輸入幀和對(duì)應(yīng)的特征金字塔很好地預(yù)測(cè)了。 

所以在每個(gè)層級(jí)上計(jì)算面向任務(wù)的光流就是從更粗的粒度上預(yù)測(cè)的殘余和上采樣的流之和。 最后，F(xiàn)LIM在中間時(shí)間t創(chuàng)建一個(gè)特征金字塔。 

3. 融合：輸出結(jié)果圖像（fusion） 

FILM的最后階段在每個(gè)金字塔層級(jí)處將時(shí)間t處的尺度無關(guān)的特征圖和雙向運(yùn)動(dòng)連接起來，然后將其送入U(xiǎn)Net-like解碼器以合成最終的中間幀。 

在損失函數(shù)的設(shè)計(jì)上，F(xiàn)LIM只使用圖像合成損失（image synthesis losses）來監(jiān)督訓(xùn)練最終的輸出，沒有在中間階段使用輔助的損失項(xiàng)。 

首先使用一個(gè)L1重構(gòu)損失，最小化插入幀和標(biāo)準(zhǔn)幀之間像素級(jí)RGB的差別。但如果只用L1損失，生成的插入幀通常都是比較模糊的，使用其他相似的損失函數(shù)訓(xùn)練也會(huì)產(chǎn)生類似結(jié)果。 

所以FLIM添加了第二個(gè)損失函數(shù)感知損失（perceptual loss）來增加圖像的細(xì)節(jié)，使用VGG-19高級(jí)別特征L1正則表示。由于每層的感受區(qū)，感知損失在每個(gè)輸出像素周圍的小范圍內(nèi)強(qiáng)制執(zhí)行結(jié)構(gòu)相似性，實(shí)驗(yàn)也證明了感知損失有助于減少各種圖像合成任務(wù)中的模糊偽影（blurry artifacts）。 

第三個(gè)損失為風(fēng)格損失（Style loss），也稱為Gram矩陣損失，能夠進(jìn)一步擴(kuò)大VGG損失中的優(yōu)勢(shì)。

FLIM也是第一個(gè)將Gram矩陣損失應(yīng)用于幀插值的工作。研究人員發(fā)現(xiàn)這種損失能有效地解決圖像的銳度，以及在不透明的情況下保留圖像細(xì)節(jié)，還能夠在具有大運(yùn)動(dòng)量的序列中消除干擾。 為了達(dá)到高基準(zhǔn)分?jǐn)?shù)以及高質(zhì)量的中間幀合成，最終的loss同時(shí)使用三個(gè)損失加權(quán)求和，具體每個(gè)loss的權(quán)重由研究人員經(jīng)驗(yàn)性地設(shè)置。在前150萬輪迭代的權(quán)重為（1, 1, 0），在后150萬輪迭代的權(quán)重為（1, 0.25, 40） ，超參數(shù)通過grid search自動(dòng)調(diào)參獲得。  

實(shí)驗(yàn)部分

研究人員從指標(biāo)量化和生成質(zhì)量?jī)煞矫鎭碓u(píng)估FLIM網(wǎng)絡(luò)。 使用的數(shù)據(jù)集包括Vimeo-90K , UCF101 和 Middle- bury，以及最近提出的大運(yùn)動(dòng)數(shù)據(jù)集 Xiph。

研究人員使用Vimeo-90K作為訓(xùn)練數(shù)據(jù)集。 量化指標(biāo)包括峰值信號(hào)噪聲比（PSNR）和結(jié)構(gòu)相似性圖像（SSIM），分?jǐn)?shù)越高代表效果越好。

感知-失真權(quán)衡表明，僅靠最小化失真指標(biāo)，如PSNR或SSIM，會(huì)對(duì)感知質(zhì)量產(chǎn)生不利影響。幀插值研究的多重目標(biāo)是實(shí)現(xiàn)低失真、高感知質(zhì)量和時(shí)間上連貫的視頻。因此，研究人員使用文中提出的基于Gram矩陣損失LS來優(yōu)化模型，對(duì)失真和感官質(zhì)量都有好處。 

當(dāng)包括對(duì)感知敏感的損失時(shí)，F(xiàn)ILM在Vimeo-90K上的表現(xiàn)優(yōu)于最先進(jìn)的SoftSplat。在Middlebury和UCF101上也取得了最高分。 

在質(zhì)量的對(duì)比上，首先從銳度（Sharpness）來看，為了評(píng)估基于Gram矩陣的損失函數(shù)在保持圖像清晰度方面的有效性，將FLIM生成的結(jié)果與用其他方法呈現(xiàn)的圖像進(jìn)行了視覺比較。與其他方法相比，F(xiàn)LIM合成的結(jié)果非常好，面部圖像細(xì)節(jié)清晰，并保留了手指的關(guān)節(jié)。 

在幀插值中，大部分的遮擋的像素應(yīng)該在輸入幀中是可見的。一部分像素，取決于運(yùn)動(dòng)的復(fù)雜度，可能無法從輸入中獲得。因此，為了有效地掩蓋像素，模型必須學(xué)習(xí)適當(dāng)?shù)倪\(yùn)動(dòng)或生成出新的像素。結(jié)果可以看到，與其他方法相比，F(xiàn)ILM 在保持清晰度的同時(shí)正確地繪制了像素。它還保留了物體的結(jié)構(gòu)，例如紅色玩具車。而SoftSplat則變形了，ABME產(chǎn)生了模糊的畫中畫 。

大運(yùn)動(dòng)（large motion）是幀插值中最具難的部分之一。為了擴(kuò)大運(yùn)動(dòng)搜索范圍，模型通常采用多尺度的方法或密集的特征圖來增加模型的神經(jīng)能力。其他方法通過訓(xùn)練大型運(yùn)動(dòng)數(shù)據(jù)集來實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果可以看到，SoftSplat和ABME能夠捕捉到狗鼻子附近的運(yùn)動(dòng)，但是它們?cè)诘孛嫔袭a(chǎn)生了很大的偽影。FILM的優(yōu)勢(shì)在于能夠很好地捕捉到運(yùn)動(dòng)并保持背景細(xì)節(jié)。