本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

隨著光學算法發展，如今我們用低維傳感器也能“捕獲”高維信號了。

舉個例子，這是我們用2D傳感器拍到的一張“照片”，看起來充滿了噪聲數據：

然而，正是通過這張“照片”所包含的數據，我們就能還原出一段動態的視頻來！

聽起來很神奇，但通過一種名叫快照壓縮成像（Snapshot Compressive Imaging, SCI）的方法，確實能實現。

這種方法能將高維數據作為二維測量進行采樣， 從而實現高效地獲取高維視覺信號。

以相機為例，雖然它是2D傳感器，但如果想辦法在相機鏡頭后加個數字微鏡器件測量設備 （Digital Micromirror Devices，DMD，這是一種能精確地控制光源的器件），就有辦法使普通的相機對高維數據進行降維測量，得到簡易的的2D數據，再還原出高維3D的視覺信號。

比如，普通的相機幀率很低，一秒最多只能拍幾十張照片（假設能拍30張）。

當我們想拍攝高速運動的物體時，只要給普通相機加上這個數字微鏡器件，它就會沿時間維度壓縮視頻信號，每拍到一張照片就能還原出來幾幀甚至幾十幀照片（也就是還原出來一段視頻）。

假設我們給數字微鏡器件預設的壓縮率是10，那么，現在拍一張照片就能還原出來10張照片（或者說是一段包含了10幀照片的視頻），而相機的幀率也直接翻了10倍，變成一秒能拍300張照片。

現在問題來了，要如何從這些含有噪聲的壓縮低維測量數據中，盡可能高效地恢復原始高維信號呢？

隨著深度學習發展，各種重建算法也都被提了出來，然而這些算法重建信號的準確性和穩定性仍然不夠好。

為此，來自港大、中科院和西湖大學的研究人員，提出了一種用于視頻快照壓縮成像的Deep Equilibrium Models（DEQ）方法，目前已被AAAI 2023收錄：

這種方法不僅提升了重建準確度和穩定性，還進一步優化了內存占用空間——

算法在訓練和測試中只需要常數級內存，即：在使用深度學習時，它所消耗的內存空間不隨網絡深度變化（而在使用傳統優化方法時，它所消耗的內存空間不隨迭代次數變化）。

一起來看看。

快照壓縮成像難點是什么？

受益于新穎光學硬件和成像算法的設計，快照壓縮成像（Snapshot Compressive Imaging, SCI）系統可以在一次快照測量中，將高維數據作為二維測量進行采樣， 從而實現高效地獲取高維視覺信號。

如圖1所示，SCI系統可以分為兩個部分，硬件編碼和軟件解碼：

△圖1. 快照壓縮成像系統使用低維傳感器在快照測量中捕獲高維數據

以拍攝視頻為例，通過硬件編碼，SCI系統對視頻數據進行采樣，在時間維度上壓縮；此后，采用算法來重建原始的高維視頻數據。

這里考慮視頻SCI系統，如視頻1所示，視頻上半部分展示的是SCI系統硬件部分得到的壓縮測量，視頻下半部分是使用該論文提出的算法恢復出來的視頻結果。

顯然，整個成像過程中需要求解一個逆問題：如何從含噪聲的壓縮測量中恢復視頻。

盡管目前已經有很多重建方法可以求解SCI成像的逆問題，但這些方法各有缺陷，如圖2所示：?

△圖2. SCI重建的現有方法和主要問題

其中，傳統的優化算法（a）性能有限。

而隨著深度學習的發展，端到端的深度網絡（b）和unfolding方法（c）雖然能提高性能，但不可避免地隨著層網絡深度的增加而遭受不斷增長的內存占用需求，并且需要精心地設計模型。

即插即用（PnP）框架（d）雖然享受數據驅動正則化和靈活迭代優化的優點，但是這種算法必須通過適當的參數設置來保證準確的結果，甚至需要采用一些復雜的策略來獲得令人滿意的性能。

相比于其他方法，論文提出了新算法DE-RNN和DE-GAP，來保證重建結果的準確性和穩定性，其重建結果的性能可以收斂到一個較高水平，如圖3所示：

△圖3. DE-GAP與其他方法重建結果對比

通常來說，以往方法如RNN和PnP的重建結果不穩定，甚至在長期迭代中性能變差。

但DE-GAP重建結果卻能隨著迭代次數的增加保持性能的提升，并最終收斂到穩定的結果。

這是怎么做到的？

引入先進模型提升性能

為了解決以往方法存在的問題、實現更先進的SCI重建，這篇論文首次提出了一種新思路——

使用DEQ模型，解決視頻SCI重建的逆問題。

DEQ模型在2019年被首次提出，主要應用于自然語言處理中的大規模長序列語言處理任務。

如圖4所示，DEQ模型可以通過牛頓迭代法等求根方法，在前向傳播和反向傳播的過程中直接求解出不動點，從而僅使用常數級內存就等效實現了無窮深網絡：

△圖4. DEQ模型的求解不動點方法（左）和常數級內存占用（右）

（圖4出自論文：S. Bai et al, “Deep equilibrium models”, NeurIPS 2019.）

具體來說，這篇論文首次將DEQ模型應用于兩個現有的視頻SCI重建框架：RNN和PnP。

效果也非常不錯，RNN相當于僅使用常數級內存實現了無窮深網絡，PnP等效于實現了無窮多迭代優化步驟，并且在迭代優化過程中直接求解不動點。

如圖5所示，論文為RNN和PnP分別設計了結合DEQ模型的迭代函數，這里x是重建結果，y是壓縮測量，Φ是測量矩陣：

△圖5. RNN和PnP分別結合DEQ模型后的迭代函數

（具體推導過程和前后向傳播的細節請見論文）

實驗結果如何？

論文在六個經典的SCI數據集和真實數據上都進行了實驗，相較以往的方法，整體重建結果都要更好。

如表1顯示，平均而言，這種方法在PSNR實現了大約0.1dB的改善，SSIM實現了大約0.04的改善。SSIM的改進表明，這種方法可以重建具有相對精細結構的圖像：

△表1. 視頻SCI重建的六個經典數據集上不同算法的PSNR（dB）和SSIM

圖6則是經典數據集上不同算法的重建結果對比，在一些細節的呈現上更加流暢清晰：

△圖6

圖7則是真實數據上不同算法的重建結果對比，效果相比之下也要更好：

△圖7

更多實驗結果可見論文。

目前論文代碼已開源，感興趣的小伙伴們可以用起來了~

（文末還附上了作者的講解視頻，深入淺出）

論文地址：
??https://arxiv.org/pdf/2201.06931??

代碼地址：
??https://github.com/IndigoPurple/DEQSCI??
論文講解視頻by作者：
英語：https://www.bilibili.com/video/BV1X54y1g7D9/
中文：https://www.bilibili.com/video/BV1V54y137QK/
塑料粵語：https://www.bilibili.com/video/BV1224y1G7ee/