[[397024]]

領域泛化 (Domain Generalization, DG) 是近幾年非常熱門的一個研究方向。它研究的問題是從若干個具有不同數據分布的數據集（領域）中學習一個泛化能力強的模型，以便在未知(Unseen) 的測試集上取得較好的效果。

本文介紹 DG 領域的第一篇綜述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。該論文一共調研了 160 篇文獻，其中直接與領域泛化相關的有 90 篇。文章從問題定義、理論分析、方法總結、數據集和應用介紹、未來研究方向等幾大方面對領域泛化問題進行了詳細的概括和總結。

該論文的精簡版已被國際人工智能頂會IJCAI-21錄用。

文章鏈接：
https://arxiv.org/abs/2103.03097

PDF：https://arxiv.org/pdf/2103.03097

作者單位：微軟亞洲研究院、中央財經大學

問題定義

領域泛化問題與領域自適應 (Domain Adaptation，DA) 最大的不同：DA 在訓練中，源域和目標域數據均能訪問（無監督 DA 中則只有無標記的目標域數據）；而在 DG 問題中，我們只能訪問若干個用于訓練的源域數據，測試數據是不能訪問的。毫無疑問，DG 是比 DA 更具有挑戰性和實用性的場景：畢竟我們都喜歡「一次訓練、到處應用」的足夠泛化的機器學習模型。

例如，在下圖中，DA 問題假定訓練集和測試集都可以在訓練過程中被訪問，而 DG 問題中則只有訓練集。

DG 問題的示意圖如下所示，其形式化定義如下：

DG 不僅與 DA 問題有相似之處，其與多任務學習、遷移學習、元學習、終身學習等，都有一些類似和差異之處。我們在下表中對它們的差異進行了總結。

理論

我們從 Domain adaptation 理論出發，分析影響不同領域學習結果的因素，如 -divergence、-divergence 等，繼而過渡到領域 Domain generalization 問題中，分析影響模型泛化到新領域的因素。從理論上總結了領域泛化問題的重要結果，為今后進行相關研究指明了理論方向。

詳細結果請參考原文第 3 部分。

方法

領域泛化方法是我們的核心。我們將已有的領域泛化方法按照數據操作、表征學習、學習策略分為三大方面，如下圖所示。

其中：

數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表征學習，指的是學習領域不變特征 (Domain-invariant representation learning) 以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。

學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監督方法在領域泛化中的應用。

在文章中，我們對每大類方法都進行了詳細地介紹與總結。

應用與數據集

領域泛化問題在眾多領域都得到了廣泛應用。大多數已有工作偏重于設計更好的 DG 方法，因此，其往往都在圖像分類數據上進行評估。除此之外，DG 方法還被應用于行人再識別(Re-ID)、語義分割、街景識別、視頻理解等計算機視覺的主流任務中。

特別地，DG 方法被廣泛應用于健康醫療領域，例如帕金森病識別、組織分割、X 光胸片識別、以及震顫檢測等。

在自然語言處理領域，DG 被用于情感分析、語義分割、網頁分類等應用。

DG 也在強化學習、自動控制、故障檢測、語音檢測、物理學、腦機接口等領域中得到了廣泛應用。

下圖展示了領域泛化問題中流行的標準數據集。

未來挑戰

我們對 DG 進行以下展望：

連續領域泛化：一個系統應具有連續進行泛化和適配的能力，目前只是離線狀態的一次應用。

新類別的領域泛化：目前我們假定所有的領域具有相同的類別，未來需要擴展到不同類別中、乃至新類別中。

可解釋的領域泛化：盡管基于解耦的方法在可解釋性上取得了進步，但是，其他大類的方法的可解釋性仍然不強。未來需要對它們的可解釋性進行進一步研究。

大規模預訓練與領域泛化：眾所周知，大規模預訓練（如 BERT）已成為主流，那么在不同問題的在規模預訓練中，我們如何利用 DG 方法來進一步提高這些預訓練模型的泛化能力？

領域泛化的評價：盡管有工作在經驗上說明已有的領域泛化方法的效果并沒有大大領先于經驗風險最小化，但其只是基于最簡單的分類任務。我們認為 DG 需要在特定的評測，例如行人再識別中才能最大限度地發揮其作用。未來，我們需要找到更適合 DG 問題的應用場景。