合成孔徑雷達（Synthetic Aperture Radar, SAR）作為一種基于電磁波的主動探測技術，具有全天時、全天候的對地觀測能力，已發展成為一種不可或缺的對地觀測工具，在軍民很多領域均有著重要的應用。

目標識別（Automatic target recognition，ATR）是 SAR 圖像智能解譯的核心問題，旨在對 SAR 圖像中典型目標（通常為車輛、艦船和飛機等目標）進行自動定位和分類，復雜、開放、對抗環境下的 SAR 目標識別要做到高精準、高敏捷、強穩健、省資源，仍然面臨很多挑戰。當前，SAR 目標識別主要面臨兩個層面挑戰。

• 技術層面，SAR 目標識別方法多為有監督、靜態、單任務、單模型、單平臺，對特定類別的檢測和分類，都需要各自的算法模型，每個任務都必須從頭開始獨立學習，這導致計算冗余、算法設計周期長、泛化能力嚴重不足、高標注依賴等問題。
• 生態層面，由于 SAR 圖像數據敏感性、標注代價昂貴等因素，缺乏良好的、開源的代碼、評估基準和數據生態，導致很多 SAR 目標識別算法不開源、算法評估基準不統一、目前尚無公開的百萬 / 千萬級大規模高質量 SAR 目標識別基準數據集等問題。

在人工智能基礎模型技術飛速發展的今天，SAR 圖像解譯領域技術創新與發展生態亟待突破。

圖 1. 各種專門的 SAR ATR 數據集和任務。SAR ATR 包括各種成像條件（即操作條件），如目標、場景和傳感器。然而，由于成本較高，通常是在特定任務和設置中收集數據集。例如，MSTAR 是 X 波段和草地場景中的 10 型車輛目標分類數據集，SAR-Aircraft 是從三個機場和 C 波段衛星收集的 7 型飛機檢測數據集。不同的目標特征、場景信息和傳感器參數使現有算法的泛化困難。因此，團隊旨在建立 SAR ATR 基礎模型，一種用于各種任務的通用方法。

為了解決上述技術挑戰，國防科技大學電子科學學院劉永祥&劉麗教授團隊提出首個公開發表的SAR圖像目標識別基礎模型SARATR-X 1.0。

技術層面：①率先開展基于自監督學習的 SAR 目標特征表示學習；②創新性地提出了適用于 SAR 圖像的聯合嵌入 - 預測自監督學習新框架（Joint Embedding Predictive Architecture for SAR ATR, SAR-JEPA），讓深度神經網絡僅僅預測 SAR 圖像稀疏且重要梯度特征表示，有效地抑制了 SAR 圖像相干斑噪聲，避免預測 SAR 圖像含相干斑噪聲的原始像素強度信息；③研制了首個 SAR 圖像目標識別基礎模型 SARATR-X（0.66 億參數，基于 Transformer），突破了復雜場景中 SAR 目標特征學習對大規模高質量標注數據高度依賴的瓶頸，大幅提升了預訓練基礎模型的認知能力。

生態層面：團隊致力于為 SAR 圖像目標識別創建一個良好開源生態，以促進 SAR 目標識別技術快速創新發展。①規范和整合已有公開數據集，形成較大規模 SAR 圖像陸海目標識別數據集 SARDet-180K；②為了取代 MSTAR（10 種車輛型號），耗時兩年構建 SAR 車輛目標識別數據集 NUDT4MSTAR（40 種車輛型號、更具挑戰的實際場景、數據公開、規模超過同類型數據集十倍），進行了詳細性能評測；③開源相關的目標識別算法代碼和評估基準。

研究成果以 “SARATR-X：面向 SAR 目標識別的基礎模型（SARATR-X: Towards Building A Foundation Model for SAR Target Recognition）” 和 “預測梯度更好：探索聯合嵌入-預測框架的 SAR ATR 自監督學習（Predicting gradient is better: Exploring self-supervised learning for SAR ATR with a joint-embedding predictive architecture）”，被國際頂級學術期刊《IEEE Transactions on Image Processing》錄用和《ISPRS Journal of Photogrammetry and Remote Sensing》發表。

團隊的代表性工作一經發表、錄用后，已經引起國內外同行關注，獲得積極評價。引文單位包括美國空軍研究實驗室、法國古斯塔夫?埃菲爾大學、新加坡南洋理工大學、北京大學、武漢大學、北京航空航天大學等。

例如，ISPRS Journal 主編、LASTIG 實驗室主任 Clement Mallet 在其論文《AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities》中認為 “SAR-JEPA [41] 首次將聯合嵌入預測框架概念應用于對地觀測，專門用于 SAR 數據。（引文原文：SAR-JEPA [41] introduces the first implementation of JEPA concepts for EO, focusing exclusively on SAR data. In this paper, we combine JEPA with a versatile spatial encoder architecture, allowing a single model to handle diverse data scales, resolutions, and modalities.）”

此外，該團隊正在加緊研制 SARATR-X 2.0，預計參數規模 3 億，SAR 目標切片樣本規模 200 萬，其中收集的數據將形成開源數據集以服務生態建設，近期將發布 SAR 車輛目標識別數據集 NUDT4MSTAR。

技術方案

團隊旨在構建一個通用 SAR 圖像目標識別基礎模型以滿足實踐中多樣的識別任務需求。作為首個公開發布的 SAR 圖像目標識別基礎模型 SARATR-X 1.0，該模型從大規模無標注 SAR 目標圖像中學習到了較為通用的特征表示，突破了傳統有監督算法適應性局限，為各種下游任務的高效適應提供基礎。在系列工作中，團隊研究了 SAR 圖像目標識別基礎模型的預訓練集、模型架構、自監督學習和評估基準。

預訓練集，所使用的預訓練集包括不同的目標類別和成像條件，以適應各種下游任務，將大部分開源數據集作為預訓練的一部分，共納入了 14 個具有不同目標類別和成像條件的分類和檢測數據集，作為新的預訓練數據集，以探索基礎模型的潛力。

表 1. SARATR-X 用于預訓練的 14 個開源合成孔徑雷達數據集。

模型架構，采用 HiViT 架構，旨在實現更好的遙感圖像空間表示，特別是對于大圖像中的小目標。HiViT 具有 Swin Transformer 高分辨率輸入的優勢，且可在自監督學習的掩碼圖像建模中丟棄補丁提高訓練效率。

自監督學習，SAR 相干成像中的散斑噪聲會對圖像質量產生負面影響。此外，SAR 幅度圖像的視覺特征不像光學 RGB 圖像那樣明顯。因此，SAR SSL 的主要任務是提高特征學習和目標信號的質量。在前期工作 SAR-JEPA 中，重點研究了如何針對 SAR 圖像特性設計自監督學習方法。

SAR-JEPA 受 JEPA、MaskFeat、FG-MAE 等工作啟發，這些工作利用特征空間進行自監督學習任務，而非在原始像素空間進行，這壓縮了圖像空間中信息冗余，且可以學習到不同特征，如目標性質、深層語義特征。SAR-JEPA 針對 SAR 圖像噪聲問題，重點在一個降噪特征空間進行自監督學習，通過結合傳統特征算子去除散斑噪聲干擾，提取目標邊緣梯度信息用于自監督，從而實現在 SAR 圖像這種噪聲數據中的大規模無標注自監督學習。其結果表明自監督學習模型性能可在不同 SAR 目標分類數據集上隨著數據量而不斷增長。這推動了我們基于大規模數據集構建一個通用 SAR 圖像目標識別基礎模型，從而實現在不同目標、場景、傳感器和識別任務中高效復用。

因此，SARATR-X 基于 SAR-JEPA 進行訓練，首先在 ImageNet 數據進行預訓練，以獲得更好的初始化模型多樣性，第二步是利用 SAR-JEPA 中高質量的目標信號對 SAR 圖像進行預訓練。

圖 2. 兩步預訓練過程。第一步是對 ImageNet 數據進行預訓練，以獲得更好的初始化模型多樣性。第二步是利用高質量的目標信號對 SAR 圖像進行預訓練，比如抑制散斑噪聲和提取目標邊緣的多尺度梯度特征。

評估任務，針對全面評估基礎模型的性能需求，團隊利用 3 個開源目標數據集，首先構建了一個包含 25 個類別的細粒度分類數據集 SAR-VSA，以評估所提改進措施的有效性。然后，在公開分類和檢測數據集上，對所提 SARATR-X 1.0 和現有方法進行了全面比較。

模型性能

受限于公開的 SAR 目標識別數據集規模，研制的 SAR 圖像目標識別基礎模型 SARATR-X 1.0 規模只有 0.66 億參數，但從大規模無標注 SAR 目標圖像中學習到了較為通用的特征表示。在多種下游目標識別任務上（8 個基準目標識別任務，包括小樣本目標識別、穩健目標識別、目標檢測等）的性能達到國際先進或者領先水平（如下圖 3 所示）。在細粒度車輛 MSTAR 數據集中，它的目標分類性能優于現有的 SSL 方法（BIDFC），提升 4.5%。

此外，它在擴展操作條件 EOCs（擦地角 EOCs-Depression、目標配置 EOCs-Config 和目標版本 EOCs-Version）下表現良好。SARATR-X 在各種類別（多類的 SARDet-100K 和 OGSOD、船舶 SSDD 和飛機 SAR-AIRcraft）的目標檢測下也具有競爭力，平均提升約 4%。并且所提方法具有良好的數據量和參數量可擴展性，具有進一步提升潛力。

圖 3. SARATR-X 1.0 分類和檢測的結果。

檢測結果分析，檢測可視化如下圖 4 所示，虛警和漏檢在 SAR 圖像中很常見，特別是在相似的目標重疊和復雜的場景。雖然所提方法通過學習圖像中的上下文信息，有效地提高了檢測效果，但復雜場景和低質量圖像的目標檢測仍然非常困難。

圖 4. 在 SARDet-100K 上進行檢測的可視化。

注意力多樣性分析，對于不同模型的注意力范圍進行可視化分析，如圖 5 所示，通過模型架構（圖 a v.s. 圖 b)，初始化權值（圖 a v.s. 圖 c）和 SSL (圖 d v.s. 圖 e）改進以確保 SAR 目標識別的注意范圍不同，包括 HiViT 架構、ImageNet 權重和 SAR 目標特征。

圖 5. 不同注意頭的平均注意距離（x 軸為注意頭層數，點顏色代表不同的層，以便更好地可視化），注意距離（Attention Distance）代表了一個接受域的范圍。

可擴展性，盡管掩碼圖像建模可以有效地隨數據資源和模型參數擴展性能，但在處理噪聲數據（如 SAR）時，所提方法是否可以確保其可擴展性？圖 6 從三個角度展示了實驗的結果：數據集大小、模型參數量和訓練輪數。盡管預訓練集包含 18 萬個圖像，比 ImageNet-1K 小，但在圖 6（a）和（b）中，隨著數據和參數量的增加，下游任務性能呈現顯著上升曲線。這一結果表明，通過提取高質量的特征作為引導信號，基礎模型可以充分發揮其在 SAR 目標識別中的潛力。但由于數據量限制，模型在擴展訓練輪數時傾向于過擬合。此外，SAR 圖像噪聲和低分辨率進一步加劇了過擬合。

圖 6. SARATR-X 在數據集大小、模型參數量和訓練輪數方面的可擴展性。雖然方法受益于這三個方面，但需要注意的是，由于數據集的大小，過大的訓練輪數經常會導致過擬合。

更多圖表分析可見原文。

論文傳送門

SARATR-X

• 題目：SARATR-X: Towards Building A Foundation Model for SAR Target Recognition
• 期刊：IEEE Transactions on Image Processing
• 論文：https://arxiv.org/abs/2405.09365
• 代碼：https://github.com/waterdisappear/SARATR-X
• 年份：2025
• 單位：國防科技大學、上海人工智能實驗室
• 作者：李瑋杰、楊威、侯躍南、劉麗、劉永祥、黎湘

SAR-JEPA

• 題目：Predicting gradient is better: Exploring self-supervised learning for SAR ATR with a joint-embedding predictive architecture
• 期刊：ISPRS Journal of Photogrammetry and Remote Sensing
• 論文：https://www.sciencedirect.com/science/article/pii/S0924271624003514
• 代碼：https://github.com/waterdisappear/SAR-JEPA
• 年份：2024
• 單位：國防科技大學、上海人工智能實驗室、南開大學
• 作者：李瑋杰、楊威、劉天鵬、侯躍南、李宇軒、劉振、劉永祥、劉麗