壓縮感知（Compressed Sensing，CS）是一種信號降采樣技術(shù)，可大幅節(jié)省圖像獲取成本，其核心思想是「無需完整記錄圖像信息，通過計算即可還原目標(biāo)圖像」。

CS的典型應(yīng)用包括：

• 降低相機(jī)成本：利用廉價設(shè)備就能拍攝出高質(zhì)量圖像；
• 加速醫(yī)療成像：將核磁共振成像（MRI）時間從40分鐘縮短至10分鐘內(nèi)，減少被檢查者的不適；
• 探索未知世界，助力科學(xué)研究：將「看不見」的事物變?yōu)椤缚吹靡姟梗缬^測細(xì)胞活動等轉(zhuǎn)瞬即逝的微觀現(xiàn)象，以及通過分布式射電望遠(yuǎn)鏡觀測銀河系中心的黑洞。

CS的兩個核心問題是：

1. 如何設(shè)計采樣矩陣，從而盡可能多地保留圖像信息？
2. 如何設(shè)計高效的重建算法，從而精準(zhǔn)復(fù)原圖像內(nèi)容？

CS的數(shù)學(xué)模型可表示為，其中x是原始圖像，A是采樣矩陣，y是壓縮觀測值。

現(xiàn)有CS方法主要存在兩個局限性：

1. 采樣矩陣信息保留能力不足：將圖像切塊，逐塊采樣，導(dǎo)致觀測值信息量有限；
2. 重建算法的計算開銷過大、復(fù)原精度有限。

針對現(xiàn)有的問題，北京大學(xué)信息工程學(xué)院的研究人員提出了一種實(shí)用、緊致的圖像壓縮感知網(wǎng)絡(luò)PCNet，其針對壓縮感知（Compressed Sensing, CS）領(lǐng)域長期存在的關(guān)鍵難題，設(shè)計了一種全新的協(xié)同采樣算子，提高了模型在任意采樣率下的靈活性、可解釋性和恢復(fù)性能。

論文鏈接：https://ieeexplore.ieee.org/document/10763443

代碼鏈接：https://arxiv.org/abs/2411.13081

發(fā)表刊物：IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

PCNet

1. 新型壓縮采樣矩陣設(shè)計

現(xiàn)有的壓縮采樣矩陣設(shè)計方法在信息保留能力上存在局限性，難以同時捕獲圖像的局部與全局特征。PCNet 針對此問題，提出了一種新型的協(xié)同壓縮采樣矩陣，顯著提高了采樣過程中的信息保留能力。該設(shè)計通過以下兩步實(shí)現(xiàn)：

（1）局部特征提取：通過一個輕量級的小型卷積網(wǎng)絡(luò)對輸入圖像進(jìn)行濾波，充分捕捉圖像的局部細(xì)節(jié)特征，例如邊緣和紋理。這一過程有效降低了數(shù)據(jù)的冗余性，同時為后續(xù)全局特征融合奠定了基礎(chǔ)。

（2）全局降維與特征融合：在完成局部特征提取后，進(jìn)一步使用一個全局矩陣對濾波結(jié)果進(jìn)行降維操作。全局矩陣通過引入更大的感受野，將圖像的全局信息（如大尺度結(jié)構(gòu)和整體布局）與局部特征有機(jī)結(jié)合，從而生成具有豐富信息的壓縮觀測值。

這種兩階段的采樣方法，不僅確保了對細(xì)節(jié)特征的捕捉，還彌補(bǔ)了傳統(tǒng)切塊式采樣方法在全局信息保留上的不足，使得生成的壓縮觀測值信息量更大、利用效率更高。

2. 新型圖像重建網(wǎng)絡(luò)設(shè)計

為了實(shí)現(xiàn)從壓縮觀測值到高質(zhì)量圖像的精準(zhǔn)重建，本研究設(shè)計了一種融合優(yōu)化理論與深度學(xué)習(xí)的圖像重建網(wǎng)絡(luò)。該網(wǎng)絡(luò)在以下幾個方面進(jìn)行了創(chuàng)新性改進(jìn)：

（1）基于近端梯度下降（Proximal Gradient Descent, PGD）的深度展開結(jié)構(gòu)

傳統(tǒng) PGD 算法在求解稀疏優(yōu)化問題時具有較強(qiáng)的理論保證，但其迭代過程較為緩慢，且難以適應(yīng)復(fù)雜的圖像數(shù)據(jù)。PCNet 將 PGD 算法的每一次迭代操作轉(zhuǎn)化為深度神經(jīng)網(wǎng)絡(luò)中的一個層，通過這種深度展開策略，使得網(wǎng)絡(luò)兼具理論可解釋性和實(shí)際效率。

（2）模塊化設(shè)計提升重建精度

在深度展開網(wǎng)絡(luò)中，結(jié)合了最新的模塊設(shè)計，包括注意力機(jī)制（Attention Mechanism）和多尺度特征融合模塊，進(jìn)一步提升了重建效果：

• 注意力機(jī)制：通過引入通道注意力和空間注意力，有效增強(qiáng)了網(wǎng)絡(luò)對重要圖像區(qū)域（如邊緣和紋理）的關(guān)注能力。
• 多尺度特征融合：在不同尺度上提取和整合特征，確保網(wǎng)絡(luò)既能恢復(fù)局部細(xì)節(jié)，也能重建全局結(jié)構(gòu)。

（3）輕量化與高效性

為了適應(yīng)高分辨率圖像（如2K、4K、8K）的處理需求，PCNet 在設(shè)計中采用了參數(shù)量和計算開銷較低的網(wǎng)絡(luò)架構(gòu)，同時通過優(yōu)化內(nèi)存使用和并行計算能力，大幅提高了推理效率。

3. 應(yīng)用范圍的擴(kuò)展性與通用性

除了在標(biāo)準(zhǔn)壓縮感知任務(wù)中的表現(xiàn)，PCNet 的設(shè)計還具備較強(qiáng)的擴(kuò)展性，其核心思想可以直接應(yīng)用于以下任務(wù)中：

（1）量化壓縮感知（Quantized CS）

利用所提出的協(xié)同壓縮采樣矩陣，應(yīng)對觀測值受量化誤差影響的場景，實(shí)現(xiàn)高效的量化數(shù)據(jù)還原。

（2）自監(jiān)督壓縮感知（Self-Supervised CS）

將采樣矩陣與重建網(wǎng)絡(luò)設(shè)計融入自監(jiān)督學(xué)習(xí)框架，降低對真值數(shù)據(jù)的依賴，同時提升算法的通用性和魯棒性。

PCNet 的這些創(chuàng)新設(shè)計顯著解決了現(xiàn)有方法在采樣和重建方面的性能瓶頸，為壓縮感知技術(shù)的實(shí)際應(yīng)用提供了全新的可能性。

圖1 提出的實(shí)用、緊致的壓縮感知網(wǎng)絡(luò)PCNet。

圖2 提出的協(xié)同采樣算子。

實(shí)驗結(jié)果

為了驗證所提出方法 PCNet 的有效性與優(yōu)勢，本工作在多個基準(zhǔn)數(shù)據(jù)集和多種任務(wù)場景下進(jìn)行了詳盡的實(shí)驗評估，如圖3所示。這些評估涵蓋了壓縮感知性能、算法效率和通用性測試。以下是實(shí)驗結(jié)果的詳細(xì)描述：

1. 圖像重建精度

PCNet 在多個公開的圖像基準(zhǔn)數(shù)據(jù)集（Set11、CBSD68、Urban100、DIV2K）上進(jìn)行了系統(tǒng)實(shí)驗，并與當(dāng)前主流的壓縮感知方法進(jìn)行了對比，重點(diǎn)評估了重建圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）。

結(jié)果表明，在Set11數(shù)據(jù)集上，PCNet在PSNR和SSIM上均超越現(xiàn)有方法，特別是在低采樣率條件下，能夠重建出更高質(zhì)量、細(xì)節(jié)更清晰的圖像；在CBSD68數(shù)據(jù)集的自然圖像測試集中，PCNet展現(xiàn)出卓越的細(xì)節(jié)保留能力，尤其在邊緣和紋理區(qū)域，其性能顯著優(yōu)于傳統(tǒng)方法；

在Urban100數(shù)據(jù)集的城市場景中，PCNet 在高頻細(xì)節(jié)（如建筑物的邊緣線條和窗戶結(jié)構(gòu)）上實(shí)現(xiàn)了更高的清晰度和精確度；在 DIV2K 數(shù)據(jù)集上，面對高分辨率（2K、4K、8K）圖像的挑戰(zhàn)，PCNet 在不同采樣率下均取得顯著性能提升，充分展示了其對高分辨率場景的適應(yīng)能力。

2. 計算效率與資源消耗

實(shí)驗還評估了PCNet在計算效率和資源消耗方面的性能，結(jié)果表明，在相同硬件條件下，PCNet的推理時間平均比傳統(tǒng)方法減少了40%，充分證明了其輕量化設(shè)計的優(yōu)越性；在內(nèi)存使用方面，PCNet的優(yōu)化設(shè)計顯著降低了高分辨率重建任務(wù)的內(nèi)存占用，使其能夠在有限資源的設(shè)備上高效運(yùn)行；在參數(shù)量方面，與復(fù)雜的深度學(xué)習(xí)方法相比，PCNet的參數(shù)量減少了30%以上，但性能卻顯著提升。

3. 任務(wù)擴(kuò)展性與通用性測試

除了在標(biāo)準(zhǔn)壓縮感知任務(wù)中的卓越表現(xiàn)外，PCNet的實(shí)驗還驗證了其在其他相關(guān)任務(wù)中的適用性。在量化壓縮感知任務(wù)中，PCNet的協(xié)同采樣矩陣設(shè)計能夠有效適應(yīng)量化誤差，即使在量化誤差較大的情況下，重建性能仍優(yōu)于現(xiàn)有方法；在自監(jiān)督學(xué)習(xí)任務(wù)中，PCNet在無標(biāo)注數(shù)據(jù)的場景下結(jié)合自監(jiān)督框架進(jìn)行訓(xùn)練，展現(xiàn)了出色的適應(yīng)能力和魯棒性。

圖3 方法與其他CS方法的對比結(jié)果。