2022年，螞蟻安全實驗室已有10篇論文被國際頂級會議及期刊收錄，方案質量受到專家學者肯定。近年來，螞蟻集團通過舉辦學術競賽、設立專項基金等方式，以產學研合作的途徑不斷在論文、專利等方面取得進展，突顯了這家起于支付的公司對安全科技的科研重視力度。據知識產權產業媒體IPR daily統計，2021年螞蟻在AI安全可信關鍵技術方面專利授權數量位列全球第一。

隨著深度學習的成熟化規模化，人工智能技術廣泛應用在醫療、交通、城市管理等多個領域中，發揮著越來越不可替代的作用。但另一方面，其潛在的風險與隱患也開始顯露，全球范圍內逐步涌現出對于AI安全的信任焦慮。

如何建立人與系統的互信，讓人工智能技術更好更安全地為人所用？螞蟻集團長期致力于安全科技研究，并成立了九大安全實驗室，聚焦在可信AI、系統安全、數據安全等前沿安全技術。今年上半年，螞蟻安全實驗室圍繞可信AI的可解釋性、魯棒性、公平性，與清華大學、上海交大學、中科院等高校合作，在計算機視覺、機器學習、自然語言生成等領域開展新型課題研究，多篇論文被CVPR、KDD、ECCV等CCF A類頂級會議及期刊收錄，本文將對部分論文進行分享解讀。

一、可信計算機視覺算法探索與實踐

關于計算機視覺在當前的發展趨勢，中山大學網絡空間安全學院院長操曉春老師表示，關于計算機視覺在當前的發展趨勢，中山大學網絡空間安全學院院長操曉春教授表示，“計算機視覺作為人工智能最活躍的研究領域之一，正與國民經濟全場景深度融合創新。一方面，計算機視覺算法的魯棒性不斷增強，正從公知的實驗室場景走向現實客觀世界的復雜場景，從千奇百怪的票據、表單、卡證，到屢禁不止的賭博、暴恐、色情；另一方面，計算機視覺算法依賴的深度學習模型具有對抗性擾動上的內生脆弱性，其對抗攻擊與防御研究如火如荼，啟發實驗室發明了水印疫苗，從一種全新視角防止去除可見版權水印。“

◆螞蟻聯合浙大提出“基于標簽關系樹的層級多粒度殘差分類網絡”，論文收錄于CVPR2022

在《建模客觀世界豐富語義知識的層級多粒度標簽分類算法》一文中，該團隊研究發現基于數據驅動的傳統算法不能有效映射現實客觀世界主體具有的豐富關系。為此，針對賭博、暴恐、色情等現實場景中的多元化風險要素，他們提出了一種基于標簽關系樹的層級多粒度殘差分類網絡，可以有效利用具有不同層級粒度標簽樣本的知識，目前已在公開數據集獲得了比同類方法更優的結果。

基于該標簽體系設計復合損失函數，首先構建層級多粒度標簽體系，在訓練時層級間的知識可以進行有效遷移，即父子關系知識、兄弟關系知識遷移；網絡結構設計層面，父類層級的專有屬性可以利用殘差結構的方式被子類繼承。多方實驗結果表明，HRN有效利用層級知識的同時達到了SOTA（state-of-the-art）的實驗結果。

此外，實際業務應用的元素類別較為復雜，以層級多粒度標簽的方式進行組織，能夠有效建模層級知識的同時，滿足業務在不同場景下對不同層級粒度標簽的需求。相對地，傳統分類算法只能利用某一層級的樣本。

◆螞蟻聯合中科院首次提出去水印防御機制，論文收錄于ECCV2022

可見水印作為一種常見的安全工具，已被廣泛應用于保護數字圖像的版權。然而，最新的數據表明，深度神經網絡 (DNN) 能夠在不損壞其宿主圖像的前提下去除可見水印，這種去水印技術對圖像的所有權構成了極大的威脅。

受 DNN 在對抗性擾動上的脆弱性的啟發，該團隊針對對抗性機器學習，在《水印疫苗：防止去水印的對抗攻擊》中共同提出了一種新穎的防御機制。作為首個提出用于盲水印去除網絡的水印不可知擾動的團隊，他們實際上優化了對主機圖像的不易察覺的對抗性擾動，以主動攻擊水印去除網絡，稱為水印疫苗。

具體而言，該團隊提出了兩種類型的疫苗，其中，破壞水印疫苗 (DWV) 在通過水印去除網絡后會導致主機圖像與水印一起破壞。相比之下，隱藏水印疫苗(HWV) 以另一種方式工作，試圖保持水印不被去除并且仍然引人注目。大量實驗證明了該團隊的 DWV/HWV 在防止水印去除方面的有效性，尤其是在各種水印去除網絡上。此外，水印疫苗還可以抵抗一些常見的圖像處理操作。

◆螞蟻聯合上海交大提出“面向視覺豐富文檔的多模態布局理解神經網絡”，論文收錄于CVPR2022

和普通的文檔圖像不同，在對風險網絡進行巡檢的業務中，往往存在更為復雜的數據，諸如票據、表單、卡證等，其文本位置通常無法按照傳統的“從左至右“或者”從上到下“進行簡單排序，而是存在豐富的層次結構。另一個局限性是在于許多現有的模型使用了長度固定的位置編碼，這會直接導致模型在訓練完成后無法處理更長的輸入序列，影響文檔理解的結果。

針對上述兩個缺陷，該團隊提出了關注文本閱讀順序的多模態文檔理解XYLayoutLM模型方案，希望改善文檔在自動化讀取過程中，表單結構復雜、文本過長等導致的錯誤理解問題，提高內容讀取的準確率，從而提升全網巡檢業務中的網站登陸頁面理解、風險行業定性等各項子業務。同時通過算法創新，生成不同的合理閱讀順序，并考慮可變長度的文本輸入，以提升模型的魯棒性，幫助模型更好得理解圖像訊息。該方法比基準方法在FUNSD和XFUN兩個數據集上的指標高出了2%左右，現已被應用于螞蟻集團的自動化表單理解業務中。

二、面向穩定性和魯棒性的可信機器學習研究

 “隨著機器學習技術的廣泛應用，我們面臨著大量數據偏差、樣本外分布等問題，嚴重影響了各類決策模型的穩定性和魯棒性，“中科院自動化所副研究員劉強談到，“未來的機器學習算法需要更多地挖掘穩定、魯棒的因果性特征，消除數據中存在的偏差與歧視，實現公平、魯棒、可信的人工智能。”

◆螞蟻聯合北大提出針對微調算法的高一致性概念，論文收錄于ICLR2022

該團隊在《logit anchoring：一種樣本層面高一致性的后門學習算法》中提出了一種高一致性的小樣本模型微調算法。工業場景中，神經網絡可能會因為安全問題或者需求變化，需要對網絡進行高頻的微調。而傳統的微調算法，只關注微調前后模型的準確率是否下降，沒有顯式考慮微調過程中的模型在樣本級別上的行為一致性。經研究發現，除了整體的準確率，還存在樣本級別的一致性問題：以分類系統為例，即使分類正確率保持不變，但是模型微調后可能會出現出錯樣本的特點改變，不同類的預測正確率改變等樣本級別的行為變化。

因此，該團隊首次提出樣本一致性的概念并提出了系統樣本一致性的衡量方案。在需求輕微變動的時候，用原始模型在少數樣本上預測中間狀態，來監督模型的微調，保證模型在預測正確標簽的基礎上，盡量少修改與更新無關的特征表示，進而以較低計算代價，來獲得高一致性的微調后模型，減少因為微調數據不足造成的性能損失，實現低代價輕量級頻繁的需求更新和微調。

◆螞蟻聯合中科院提出“面向風控樣本有偏場景的拒絕感知多任務網絡”，論文收錄于TKDE2022

在風控決策、核身決策等場景中，所有的觀測標簽都會受到決策策略的影響，從而存在選擇偏差問題。因此，該團隊基于因果推斷和多任務學習進行算法創新，引入全局信息，提出了拒絕感知的反事實多任務網絡RMT-net，并應用在支付寶登錄核身推薦場景中，比其他SOTA算法在準確率上提高3%，最重提升用戶登錄成功率0.1%，有效提升了模型的穩定性、準確性。

多任務學習方法并不能直接在拒絕推斷問題中取得很好的建模效果。團隊分析了其中的原因并提出了拒絕感知的多任務學習網絡，可以大幅提升多任務學習拒絕推斷問題中的建模效果，并遠超現有的常規金融風控數據建模手段。

在進一步將反事實學習和多任務學習結合后，該團隊提出了拒絕感知的反事實多任務網絡，融合兩種學習方法的優勢，并利用拒絕感知模塊對兩種學習方法進行賦能，進一步提升模型性能，使模型在多變的樣本特征分布下均可取得穩定、準確的預測效果。

三、探索自然語言生成與可解釋AI的結合潛力

北京航空航天大學莊福振研究員介紹：“隨著人工智能在社會生活中越來越廣泛和深入的應用，AI決策的透明化和可解釋性成為AI領域非常熱門的話題。而最直觀的解釋方法，可能就是讓機器自己陳述理由，比如自動生成一段邏輯清晰的語言來講清楚。因此，針對可解釋AI和自然語言生成（NLG）這兩個前沿課題的有機結合，有著廣闊的應用前景。”

◆螞蟻聯合北航提出“基于邏輯的可解釋性文本生成神經網絡”，論文收錄于KDD2022

Data2Text是指數據到文本的生成，可以將數據背后隱藏的事實和邏輯，用人比較容易理解的文本描述出來，在學術界和工業界都有大量的研究和應用。目前Data2Text文本生成算法聚焦在表面的客觀事實描述生成，但是忽略了輸入數據和目標文本之間的潛在邏輯相關性。此外，識別這種邏輯關聯并用自然語言描述它們在工業界需求較大，但尚未被深入研究。

因此在該工作中，該團隊針對反洗錢應用場景介紹了一種基于邏輯圖譜的Data2Text方法，首先將人工知識以圖譜的方式進行表達，不僅利于知識的管理，也利于后續模型的利用；同時將圖譜中每個用戶滿足的條件對應的路徑以比較完備的方式加入到模型的輸入中，即圖中的mata_path，這樣使模型能充分利用專家知識；該方法還利用attention的方式回溯生成的文字和哪條路徑有關，具備較好的可解釋性；另外采用知識檢索器和規則約束可以更好的利用專家知識和動態選擇相應知識，也可以自我修正生產的錯誤字或詞，使結果更加精確。實驗結果表明，提出的方法相比之前的方法效果有較大提升。

近幾年螞蟻安全實驗室持續在可信AI技術上投入并且得到了應用成果，不僅在欺詐、洗錢、賭博、營銷安全、數據安全等多個風控場景下落地大規模應用，還研發了業界首個工業級可信AI檢測平臺。未來可信AI技術的發展需要繼續產學研界結合的方式，開展面向真實場景的創新技術研究，才能走得更遠。

入選論文附錄：

1、《一種基于邏輯的可解釋性文本生成神經網絡》2、《拒絕感知網絡：面向風控樣本有偏場景的拒絕感知多任務網絡》：

https://ieeexplore.ieee.org/abstract/document/9785714/3、《XYLayoutLM：面向視覺豐富文檔的多模態布局理解神經網絡》：

https://arxiv.org/pdf/2203.06947.pdf4、《logit anchoring：一種樣本層面高一致性的后門學習算法》：

https://iclr.cc/virtual/2022/poster/62565、《螞蟻集團OLR2021多語種識別雙料冠軍方案》

6、《使用符號驗證框架設計領域優化的神經網絡》：

https://www.atatech.org/paper/2421?spm=ata.25287382.0.0.3f6875360QxyRF

7、《一種基于噪聲語義引導的雙向年齡變化方法》：

https://ieeexplore.ieee.org/document/9745962

8、《基于頻域分析的隱私保護人臉識別方法》：https://aaai-2022.virtualchair.net/poster_aaai370

9、《建模客觀世界豐富語義知識的層級多粒度標簽分類算法》：

https://arxiv.org/pdf/2201.03194.pdf10、《水印疫苗：防止去水印的對抗攻擊》