前言

在過(guò)去的幾年里，以神經(jīng)網(wǎng)絡(luò)為首的人工智能技術(shù)通過(guò)對(duì)不同類型數(shù)據(jù)的深入挖掘已經(jīng)深刻地改變了人類的生活并極大地推動(dòng)了社會(huì)發(fā)展的進(jìn)程 [1]。作為人工智能領(lǐng)域最活躍的研究方向之一，圖神經(jīng)網(wǎng)絡(luò)（GNNs）憑借其卓越的性能已經(jīng)被廣泛應(yīng)用于個(gè)性化推薦等日常生活中，在如新冠藥物研發(fā)等科學(xué)前沿領(lǐng)域也不乏其身影。隨著圖神經(jīng)網(wǎng)絡(luò)技術(shù)的蓬勃發(fā)展，人們發(fā)現(xiàn)以任務(wù)性能為單一設(shè)計(jì)目標(biāo)的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)中仍存在譬如面對(duì)惡意攻擊的脆弱性等問(wèn)題。因此，人們愈發(fā)渴望建立起可信的圖神經(jīng)網(wǎng)絡(luò)。

近年來(lái)，構(gòu)建可信人工智能系統(tǒng)已經(jīng)成為了世界各國(guó)的普遍共識(shí) [2][3]。如何全面地建立起可信圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了一個(gè)亟待解決的重大問(wèn)題。該文是由Monash團(tuán)隊(duì)（Shirui Pan, Xingliang Yuan，Bang Wu, He Zhang）聯(lián)合Hanghang Tong (UIUC) 以及Jian Pei (SFU，即將入職Duke)對(duì)可信圖神經(jīng)網(wǎng)絡(luò)的最新綜述（雙欄36頁(yè)，299篇文獻(xiàn)）。

該綜述從研究背景與特點(diǎn)出發(fā)，提出了一個(gè)可信圖神經(jīng)網(wǎng)絡(luò)的開(kāi)放框架，著重闡述了“可信GNN”的六大維度（魯棒性、可解釋性、隱私、公平性、問(wèn)責(zé)、環(huán)境福祉）及其技術(shù)方法。同時(shí)，該綜述探討了不同可信維度之間的交互關(guān)系，并提出了可信圖神經(jīng)網(wǎng)絡(luò)未來(lái)的研究方向，為建立起可信圖神經(jīng)網(wǎng)絡(luò)描繪了一幅細(xì)致而全面的技術(shù)路線圖。

?綜述名稱：Trustworthy Graph Neural Networks: Aspects, Methods and Trends

全文鏈接：https://arxiv.org/pdf/2205.07424.pdf

Github: https://github.com/Radical3-HeZhang/Awesome-Trustworthy-GNNs 

1 緒論

圖作為一種具有極強(qiáng)表示能力的數(shù)據(jù)類型，通過(guò)描述實(shí)體特征和刻畫(huà)實(shí)體之間的關(guān)系，已經(jīng)被廣泛應(yīng)用于描述生物學(xué)、化學(xué)、物理學(xué)、語(yǔ)言學(xué)和社會(huì)科學(xué)等諸多領(lǐng)域的數(shù)據(jù)。近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)技術(shù)的蓬勃發(fā)展已經(jīng)革命性地提升了各種圖計(jì)算任務(wù)的性能，并促進(jìn)了其在現(xiàn)實(shí)生活中的廣泛應(yīng)用。

在日常生活中，圖神經(jīng)網(wǎng)絡(luò)通過(guò)考慮用戶與用戶/服務(wù)內(nèi)容之間的交互關(guān)系，可以在信息流媒體、在線購(gòu)物、社交軟件等消費(fèi)應(yīng)用中為用戶提供個(gè)性化搜索與推薦服務(wù)。在科學(xué)前沿中，通過(guò)使用圖數(shù)據(jù)來(lái)表示復(fù)雜的系統(tǒng)，研究者們可以使用圖神經(jīng)網(wǎng)絡(luò)來(lái)發(fā)現(xiàn)天體運(yùn)動(dòng)背后隱藏的規(guī)律。通過(guò)將其應(yīng)用于虛假新聞檢測(cè)與新冠藥物研發(fā)，圖神經(jīng)網(wǎng)絡(luò)大大提升了我們的社會(huì)福祉。

雖然研究者們已經(jīng)從很多角度（如自監(jiān)督學(xué)習(xí)，提升模型深度等）設(shè)計(jì)出了進(jìn)一步提升圖神經(jīng)網(wǎng)絡(luò)性能的方法，但是在一些關(guān)鍵領(lǐng)域中任務(wù)性能不是設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)的唯一目標(biāo)。例如，基于圖神經(jīng)網(wǎng)絡(luò)的異常檢測(cè)系統(tǒng)需要對(duì)惡意攻擊具有魯棒性，基于圖神經(jīng)網(wǎng)絡(luò)的信用評(píng)分系統(tǒng)不應(yīng)該因?yàn)橛脩舻哪挲g、性別等因素拒絕其貸款申請(qǐng)，基于圖神經(jīng)網(wǎng)絡(luò)的藥物發(fā)現(xiàn)應(yīng)用應(yīng)向研發(fā)人員提供其結(jié)果的全面解釋。

基于上述需求，人們愈發(fā)渴望基于圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可信的。在這樣的背景下，這篇綜述旨在總結(jié)“可信圖神經(jīng)網(wǎng)絡(luò)（Trustworthy GNNs）”的最新進(jìn)展，為相關(guān)研究人員和從業(yè)人員提供技術(shù)路線圖，并為可信圖神經(jīng)網(wǎng)絡(luò)的未來(lái)研究與產(chǎn)業(yè)化發(fā)展提供方向。

這篇綜述的主要貢獻(xiàn)有：1）以包含諸多可信維度的開(kāi)放框架描述了可信圖神經(jīng)網(wǎng)絡(luò)，并提出了圖神經(jīng)網(wǎng)絡(luò)與其他常見(jiàn)人工智能技術(shù)（如CNN）在可信研究中的典型差異；2）針對(duì)圖神經(jīng)網(wǎng)絡(luò)的不同可信維度，對(duì)現(xiàn)有方法進(jìn)行了綜合且全面的總結(jié)；3）提出了不同可信維度之間的關(guān)系對(duì)于構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)至關(guān)重要，并從方法和成效兩個(gè)層面總結(jié)了已有的研究工作；4）通過(guò)將可信圖神經(jīng)網(wǎng)絡(luò)的概念作為一個(gè)整體，提出了未來(lái)的潛在研究方向。

2 圖神經(jīng)網(wǎng)絡(luò)與可信

為了便于讀者理解，本文首先對(duì)以下核心概念進(jìn)行介紹。

圖數(shù)據(jù)（graph data）：圖一般由節(jié)點(diǎn)集合和邊集合構(gòu)成。該圖中節(jié)點(diǎn)的個(gè)數(shù)為，節(jié)點(diǎn)之間邊的個(gè)數(shù)為。給定圖，對(duì)應(yīng)的拓?fù)浣Y(jié)構(gòu)可以用鄰接矩陣表示，其中表示了節(jié)點(diǎn)和節(jié)點(diǎn)之間的連接關(guān)系。即，如果節(jié)點(diǎn)和相互連接，則，否則。如果圖中節(jié)點(diǎn)具有屬性，可用一個(gè)特征矩陣來(lái)描述這些屬性信息。因此，圖也可以表示為。

圖神經(jīng)網(wǎng)絡(luò)（GNNs）：圖神經(jīng)網(wǎng)絡(luò)是一系列可用于圖數(shù)據(jù)上計(jì)算任務(wù)（如節(jié)點(diǎn)分類、鏈接預(yù)測(cè)、圖分類）的神經(jīng)網(wǎng)絡(luò)的總稱。圖神經(jīng)網(wǎng)絡(luò)中的一個(gè)典型運(yùn)算步驟是消息傳播（message passaging）。在消息傳播的過(guò)程中，圖神經(jīng)網(wǎng)絡(luò)通過(guò)聚合所有鄰居節(jié)點(diǎn)的信息來(lái)更新當(dāng)前節(jié)點(diǎn)的表示。在與其他運(yùn)算結(jié)合（如非線性激勵(lì)）的基礎(chǔ)上，經(jīng)過(guò)多次表示更新迭代后，圖神經(jīng)網(wǎng)絡(luò)可以計(jì)算得到相應(yīng)的數(shù)據(jù)表示。

可信（trustworthiness）：可信用于形容一個(gè)系統(tǒng)是值得被信任的，它描述了信任發(fā)起者（the trustor）與信任接收者（the trustee）之間的信任（trust）關(guān)系。在可信圖神經(jīng)網(wǎng)絡(luò)的上下文中，信任接收者（the trustee）是圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)，信任發(fā)起者（the trustor）可以是用戶，開(kāi)發(fā)者，監(jiān)管部門(mén)甚至整個(gè)社會(huì)。

可信圖神經(jīng)網(wǎng)絡(luò)（Trustworthy GNNs）被定義為兼顧可信和卓越性能的圖神經(jīng)網(wǎng)絡(luò)，這些可信維度包含但不限于圖神經(jīng)網(wǎng)絡(luò)的魯棒性、可解釋性、隱私、公平性、責(zé)任和福祉。原文定義如下：“In this survey, we define trustworthy GNNs as competent GNNs that incorporate core aspects of trustworthiness, including robustness, explainability, privacy, fairness, accountability, well-being, and other trust-oriented characteristics in the context of GNNs.”

3 綜述框架

該綜述在第一章主要介紹了研究背景、可信圖神經(jīng)網(wǎng)絡(luò)的定義、不同可信維度的定義、度量和研究差異、與已有綜述的關(guān)系及其主要貢獻(xiàn)。在第二章，它介紹了圖神經(jīng)網(wǎng)絡(luò)的基本概念和計(jì)算任務(wù)。在第三至八章，它分別從魯棒性（robustness）、可解釋性（explainability）、隱私（privacy）、公平性（fairness）、問(wèn)責(zé)（accountability）、環(huán)境福祉（environmental well-being）這六個(gè)方面介紹、總結(jié)了典型的技術(shù)方法并討論了未來(lái)的研究方向。在第九章，這篇綜述從方法和成效兩個(gè)層面，總結(jié)了上述六個(gè)可信維度之間的復(fù)雜關(guān)系。最后，綜述的第十章將可信圖神經(jīng)網(wǎng)絡(luò)看成一個(gè)整體，為全面構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)提出了未來(lái)研究與產(chǎn)業(yè)化的五個(gè)方向。

4 魯棒性（Robustness）

魯棒性是指圖神經(jīng)網(wǎng)絡(luò)面臨干擾時(shí)保持穩(wěn)定預(yù)測(cè)結(jié)果的能力。圖神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果可以被多種擾動(dòng)（尤其是各類針對(duì)圖神經(jīng)網(wǎng)絡(luò)的攻擊）所影響。這給圖神經(jīng)網(wǎng)絡(luò)在這給圖神經(jīng)網(wǎng)絡(luò)在銀行金融系統(tǒng)的欺詐偵測(cè)、自動(dòng)駕駛系統(tǒng)的交通預(yù)測(cè)及規(guī)劃等涉及人身財(cái)產(chǎn)安全的場(chǎng)景中的應(yīng)用帶來(lái)了較為嚴(yán)峻的挑戰(zhàn)。因此，針對(duì)魯棒性的研究是可信圖神經(jīng)網(wǎng)絡(luò)中不可或缺的關(guān)鍵環(huán)節(jié)。

該綜述總結(jié)了目前圖神經(jīng)網(wǎng)絡(luò)魯棒性研究的相關(guān)工作，并分別介紹了對(duì)抗攻擊、防御的分類和一些典型方法。其中，對(duì)抗攻擊的分類源自對(duì)攻擊威脅模型（threat model）的分析，如下圖所示；對(duì)防御的分類則更多基于該技術(shù)的具體執(zhí)行階段（target phase）。

在介紹不同類別的方法時(shí)，作者對(duì)這些方法的特點(diǎn)與用于其他常見(jiàn)的人工技術(shù)（如CNN）的方法的差異進(jìn)行了討論。例如，具體擾動(dòng)操作類型（perturbation operations）和攻擊者目的（attack goals）的不同分類和名稱變化。

此外，作者還對(duì)這些攻擊、防御方法的適用性進(jìn)行了討論和總結(jié)。例如，對(duì)不同類型的防御方法，作者從應(yīng)用階段（stage of application）、模塊化（modularity）、部署的兼容性（deployment compatibility）三個(gè)角度進(jìn)行了比較和分析。

最后，該綜述根據(jù)目前現(xiàn)狀提出了未來(lái)的兩個(gè)研究方向，分別是制定標(biāo)準(zhǔn)化的魯棒性評(píng)估方法（robustness evaluations）和提高現(xiàn)有防御方法的可擴(kuò)展性（defence scalability）。

5 可解釋性（Explainability）

可解釋性是指使圖神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果可以被人理解的能力。如果其預(yù)測(cè)結(jié)果不能夠被人所理解，那么人們就不會(huì)信任圖神經(jīng)網(wǎng)絡(luò)。信任的缺失會(huì)進(jìn)一步限制其在涉及公平（如信用風(fēng)險(xiǎn)預(yù)測(cè)）、信息安全（如芯片設(shè)計(jì)）、生命安全（如自動(dòng)駕駛）的場(chǎng)景中的應(yīng)用。因此，可信的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)需要對(duì)其預(yù)測(cè)結(jié)果做出解釋。

在介紹了解釋形式、解釋方法的類別等基本概念后，該綜述將涉及圖神經(jīng)網(wǎng)絡(luò)可解釋性的工作分成了自解釋（interpretable GNNs）和事后解釋（post-hoc explainers）兩類。自解釋（Interpretable GNNs）主要包含了貢獻(xiàn)估計(jì)（contribution estimation）、引入可解釋模塊（ introduction of interpretable module）、嵌入空間原型學(xué)習(xí)（embedding prototype learning） 和依據(jù)生成方法（rationale generation methods）。事后解釋（post-hoc explainers）主要包含了基于梯度/特征的方法（gradient/feature-based methods）、基于擾動(dòng)的方法（perturbation-based methods）、代理模型方法（surrogate methods）、分解方法（decomposition methods）、生成方法（generation methods）和其他方法（other methods）。

該綜述在介紹了典型方法的原理后，對(duì)這些方法進(jìn)行了全面的比較，如下表所示：

此外，該綜述從自解釋與事后解釋（interpretability and explainability）、提供解釋時(shí)所需的背景知識(shí)（white/grey/black-box knowledge）、獲得解釋的推理原理（reasoning rationale）、其他局限性（other limitations）這四個(gè)方面對(duì)當(dāng)前的工作進(jìn)行了總結(jié)。最后，該綜述提出建立嚴(yán)格的模型不可知的解釋方法（strictly model-agnostic methods）和用于真實(shí)應(yīng)用的評(píng)估基準(zhǔn)（evaluation benchmark for real applications）是圖神經(jīng)網(wǎng)絡(luò)的可解釋性未來(lái)研究的兩個(gè)方向。

6 隱私（Privacy）

隱私也是構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)時(shí)不可忽略的可信維度。在構(gòu)建和維護(hù)可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)的過(guò)程中，模型本身或者圖數(shù)據(jù)等敏感、隱私的信息都面臨被泄漏的風(fēng)險(xiǎn)。因此，該綜述首先對(duì)當(dāng)前隱私數(shù)據(jù)泄漏相關(guān)的研究進(jìn)行了總結(jié)，然后介紹了多種隱私保護(hù)方法。

針對(duì)隱私泄露問(wèn)題，該綜述從當(dāng)前隱私攻擊的威脅模型入手，首先介紹了潛在威脅的目標(biāo)和能力，然后介紹了模型提?。╩odel extraction attack）、成員推斷（membership inference attack）、模型逆向（model inversion attack）這三個(gè)常見(jiàn)的隱私攻擊和其他場(chǎng)景中存在的隱私泄露隱患。

隨后，該綜述介紹了在圖神經(jīng)網(wǎng)絡(luò)場(chǎng)景下的聯(lián)邦學(xué)習(xí)（federated learning）、差分隱私（differential privacy）、脫敏訓(xùn)練（insusceptible training）、安全計(jì)算（security computation）這四種隱私保護(hù)技術(shù)。此外，作者在對(duì)上述技術(shù)進(jìn)行了分類介紹后，還對(duì)它們的具體應(yīng)用場(chǎng)景和隱私保護(hù)結(jié)束所帶來(lái)的隱私保護(hù)、模型精度、實(shí)行效率之間的權(quán)衡問(wèn)題進(jìn)行了討論。

在章節(jié)末尾，針對(duì)當(dāng)前研究的現(xiàn)狀，作者認(rèn)為目前對(duì)梯度信息導(dǎo)致的泄漏（leakage from gradient）隱患、隱私攻擊的防御手段（defence against privacy attacks）的研究仍綆短汲深，未來(lái)還需要進(jìn)一步地關(guān)注和探索。

7 公平性（Fairness）

通過(guò)保護(hù)弱勢(shì)群體或者個(gè)人的關(guān)鍵利益，公平的系統(tǒng)可以贏得人們的信任。公平的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)意味著其預(yù)測(cè)結(jié)果中排除了對(duì)于某些群體或者個(gè)人的偏見(jiàn)。當(dāng)前，圖神經(jīng)網(wǎng)絡(luò)主要以數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)完成圖計(jì)算任務(wù)。然而，圖神經(jīng)網(wǎng)絡(luò)中的消息傳播機(jī)制可能會(huì)進(jìn)一步放大已經(jīng)存在于數(shù)據(jù)中的偏見(jiàn)。此后，由于個(gè)人喜好或者行為偏差等因素，人們?cè)谂c圖神經(jīng)網(wǎng)絡(luò)服務(wù)交互的過(guò)程中將進(jìn)一步加深圖數(shù)據(jù)中的偏見(jiàn)。

在介紹了公平性定義（group fairness，individual fairness, counterfactual fairness)、使用階段（pre-processing, in-processing, post-processing）等基本概念后，該綜述將當(dāng)前的用于圖神經(jīng)網(wǎng)絡(luò)公平性研究的方法分成了公平表示學(xué)習(xí)方法（fair representation learning methods）和公平預(yù)測(cè)增強(qiáng)方法（fair prediction enhancement methods）。在介紹完這些方法的基本原理后，對(duì)這些方法進(jìn)行了全面的比較，如下表所示。

最后，該綜述提出探討公平性的定義與評(píng)估（fairness definition and evaluation）、對(duì)任務(wù)性能的影響（influence on task performance）、解釋不公平的來(lái)源（revealing unfairness）是未來(lái)圖神經(jīng)網(wǎng)絡(luò)公平性研究中需要重點(diǎn)關(guān)注的研究方向。

8 問(wèn)責(zé)（Accountability）

隨著愈加廣泛的應(yīng)用場(chǎng)景和復(fù)雜的系統(tǒng)結(jié)構(gòu)的出現(xiàn)，個(gè)人、企業(yè)和政府機(jī)構(gòu)都對(duì)可信圖神經(jīng)網(wǎng)絡(luò)中的有效問(wèn)責(zé)提出了更高的要求。近年來(lái)，中、美、歐的企業(yè)和政府機(jī)構(gòu)關(guān)于如何構(gòu)建人工智能的問(wèn)責(zé)框架提出了各自的規(guī)劃和指導(dǎo)意見(jiàn)。該綜述基于上述內(nèi)容，歸納了對(duì)圖神經(jīng)網(wǎng)絡(luò)問(wèn)責(zé)框架的三個(gè)要求：

(1) 應(yīng)當(dāng)設(shè)計(jì)合理的評(píng)估和認(rèn)證機(jī)制（assessment and certification processes），并使其伴隨整個(gè)圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)的開(kāi)發(fā)和運(yùn)行周期；

(2) 應(yīng)當(dāng)保證開(kāi)發(fā)和運(yùn)行過(guò)程的可審計(jì)性（assurance of auditability）；

(3) 應(yīng)當(dāng)建立足夠的協(xié)調(diào)和反饋機(jī)制，以方便人類對(duì)系統(tǒng)實(shí)施干預(yù)（adjusting）、補(bǔ)救（remediating）等措施，并可以對(duì)不當(dāng)行為進(jìn)行懲罰（punishing）。

隨后，該綜述介紹了當(dāng)前可用于構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)中問(wèn)責(zé)框架的兩大類工作：基準(zhǔn)化分析（benchmarking）和安全性評(píng)估（security evaluation）。

該綜述根據(jù)圖神經(jīng)網(wǎng)絡(luò)不同的開(kāi)發(fā)階段—模型設(shè)計(jì)（architecture design）、模型訓(xùn)練（model training）、模型驗(yàn)證（model validation）—對(duì)基準(zhǔn)化分析的研究進(jìn)行了介紹。對(duì)于安全性評(píng)估，作者主要介紹了驗(yàn)證系統(tǒng)完整性（integrity verification）的相關(guān)研究，并根據(jù)驗(yàn)證對(duì)象的不同分別介紹了數(shù)據(jù)完整性（data integrity）、程序完整性（procedure integrity）的驗(yàn)證。

最后，該綜述為可信圖神經(jīng)網(wǎng)絡(luò)的問(wèn)責(zé)提出了三個(gè)研究方向。第一，提供針對(duì)更多不同性質(zhì)逾矩行為的檢測(cè)（violation detection）；第二，覆蓋全過(guò)程的程序完整性檢測(cè)和全部件的數(shù)據(jù)完整性檢測(cè)；第三，繼續(xù)提高系統(tǒng)的可審計(jì)性和建立更多的協(xié)調(diào)反饋機(jī)制。

9 環(huán)境福祉（Environmental well-being）

可信圖神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)符合其部署環(huán)境的社會(huì)價(jià)值觀。當(dāng)前，全球變暖是人類社會(huì)亟需解決的重大環(huán)境問(wèn)題，實(shí)現(xiàn)碳中和的雄偉目標(biāo)需要各行各業(yè)的共同努力。為了降低圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)的環(huán)境影響，在介紹了節(jié)點(diǎn)數(shù)每焦耳等相關(guān)的度量后，該綜述總結(jié)了提升圖神經(jīng)網(wǎng)絡(luò)效率的多種方法。

(1) 可擴(kuò)展的圖神經(jīng)網(wǎng)絡(luò)和高效的數(shù)據(jù)通信：隨著圖數(shù)據(jù)的爆炸性增長(zhǎng)，大規(guī)模數(shù)據(jù)集對(duì)于圖神經(jīng)網(wǎng)絡(luò)的高效運(yùn)行提出了挑戰(zhàn)。為了應(yīng)對(duì)這一挑戰(zhàn)，當(dāng)前的技術(shù)主要包含了采樣方法（sampling method）、可拓展架構(gòu)（scalable architectures）、產(chǎn)業(yè)應(yīng)用（industrial applications）、高效數(shù)據(jù)通信（efficient data communication）等。

(2) 模型壓縮技術(shù)：隨著技術(shù)的發(fā)展，研究人員提出了更深和更復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)模型來(lái)提升其性能。然而，這些模型的規(guī)模限制了其在只具備有限計(jì)算資源的邊緣計(jì)算設(shè)備上的部署。因此，模型壓縮技術(shù)是解決這一挑戰(zhàn)的一個(gè)有效方法。相關(guān)的技術(shù)包含了知識(shí)蒸餾（knowledge distillation）、模型剪枝（model pruning）、減少參數(shù)規(guī)模（reducing parameter size）、模型量化（model quantisation）等。

(3) 開(kāi)發(fā)框架與加速器：圖數(shù)據(jù)的不規(guī)則性、模型中稀疏與稠密計(jì)算的相互交替、模型與應(yīng)用的多樣性等特點(diǎn)使得圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)需要使用專門(mén)設(shè)計(jì)的框架與加速器來(lái)提升其效率。為了解決這一問(wèn)題，當(dāng)前的方法主要有軟件框架（SW frameworks）、硬件加速器（HW accelerators）、效率瓶頸分析（analysing the efficiency bottleneck）、軟硬件協(xié)同設(shè)計(jì)（SW-HW co-design）等。

最后，該綜述提出探索高效的圖神經(jīng)網(wǎng)絡(luò)（exploration of efficient GNNs）和研究用于圖神經(jīng)網(wǎng)絡(luò)的加速器（accelerators for GNNs）是未來(lái)促進(jìn)圖神經(jīng)網(wǎng)絡(luò)環(huán)境福祉的兩個(gè)研究方向。

10 不同可信方面之間的關(guān)系

當(dāng)前促進(jìn)圖神經(jīng)網(wǎng)絡(luò)可信性的研究主要集中在上述六個(gè)維度中的一個(gè)，該綜述提出構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)不能忽視上述六個(gè)可信維度之間的關(guān)系，并從如下兩個(gè)角度對(duì)此進(jìn)行了總結(jié)：

1） 來(lái)自可信圖神經(jīng)網(wǎng)絡(luò)中一個(gè)維度的方法如何被用于解決其他維度的研究問(wèn)題（how the methods from one aspect of trustworthy GNNs are adapted to address objectives in other aspects）。

2） 為什么促進(jìn)可信圖神經(jīng)網(wǎng)絡(luò)的一個(gè)維度可能會(huì)促進(jìn)或者抑制其他可信維度（why advancing one aspect of trustworthy GNNs can promote or inhibit other aspects）。

11 未來(lái)的研究方向

針對(duì)潛在的研究熱點(diǎn)，該綜述將可信圖神經(jīng)網(wǎng)絡(luò)看作一個(gè)整體并分析了當(dāng)前方法的局限性。為了填補(bǔ)當(dāng)前的研究空白，推動(dòng)可信圖神經(jīng)網(wǎng)絡(luò)的產(chǎn)業(yè)化，該綜述提出了如下五個(gè)研究方向：

A. 擁抱可信設(shè)計(jì)理念（shift to trustworthy GNNs）

構(gòu)建可信的圖神經(jīng)網(wǎng)絡(luò)需要研究人員與圖神經(jīng)網(wǎng)絡(luò)從業(yè)人員全面擁抱可信理念，在設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)時(shí)不僅要考慮其任務(wù)性能，更需要將可信的理念引入到圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)哲學(xué)中。已有的一些工作在設(shè)計(jì)中兼顧了可解釋性和公平性，這大大提升了圖神經(jīng)網(wǎng)絡(luò)的可信性。此外，解決在轉(zhuǎn)向可信圖神經(jīng)網(wǎng)絡(luò)的過(guò)程中面臨的一系列開(kāi)放性問(wèn)題，如在具體應(yīng)用中對(duì)不同可信維度（如自動(dòng)駕駛中的魯棒性和環(huán)境福祉）進(jìn)行平衡和取舍，也是一個(gè)具有挑戰(zhàn)性的研究方向。

B. 探索其他可信維度（other aspects of trustworthy GNNs）

可信圖神經(jīng)網(wǎng)絡(luò)所包含的內(nèi)容實(shí)際上超過(guò)了該綜述介紹的六個(gè)維度。例如，泛化能力（generalisation）也被認(rèn)為是可信系統(tǒng)的一個(gè)重要維度。當(dāng)前一些研究探究了圖神經(jīng)網(wǎng)絡(luò)外推（extrapolation）與其使用的激活函數(shù)之間的關(guān)系，這些工作豐富了可信的內(nèi)涵并促進(jìn)了可信圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建。此外，該綜述提出，妥善處理可信系統(tǒng)相關(guān)的設(shè)計(jì)原則（如國(guó)家新一代人工智能治理專業(yè)委員會(huì)發(fā)布的《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》）也是可信圖神經(jīng)網(wǎng)絡(luò)在未來(lái)發(fā)展中的重要研究?jī)?nèi)容。

C. 研究多樣相互關(guān)系（diversified relations）

該綜述只涉及了可信圖神經(jīng)網(wǎng)絡(luò)不同維度之間復(fù)雜關(guān)系的一部分。探索其他相互關(guān)系（如可解釋性和公平性）對(duì)于全面理解和構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)至關(guān)重要。此外，這些關(guān)系不僅復(fù)雜而且存在于多個(gè)層面。比如，反事實(shí)公平（counterfactual fairness）與魯棒性（robustness）在概念上具有相似性。因此，從概念、方法、成效等不同的層次探討可信圖神經(jīng)網(wǎng)絡(luò)的不同維度之間的相互關(guān)系也是一個(gè)有前景的研究方向。

D. 設(shè)計(jì)模型不可知方法（model-agnostic methods）

當(dāng)前，很多提升圖神經(jīng)網(wǎng)絡(luò)可信性的方法需要使用專門(mén)設(shè)計(jì)的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)。如果不能訪問(wèn)或者修改目標(biāo)網(wǎng)絡(luò)架構(gòu)（如使用云服務(wù)），這些方法將無(wú)法使用。這大大降低了這些可信性增強(qiáng)方法在現(xiàn)實(shí)場(chǎng)景中的實(shí)用性。相比之下，模型不可知方法能夠以即插即用的方式靈活地被應(yīng)用到圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)中。此外，這類方法也能夠以功能模塊的形式被組合使用。因此，設(shè)計(jì)模型不可知的方法將大大提升其實(shí)用性并促進(jìn)可信圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建。

E. 建立可信技術(shù)生態(tài)（technology ecosystem for trustworthy GNNs）

作為一個(gè)蓬勃發(fā)展的領(lǐng)域，可信圖神經(jīng)網(wǎng)絡(luò)的發(fā)展離不開(kāi)技術(shù)生態(tài)的支持。這里的技術(shù)生態(tài)包含但不限于工具包（tools）、數(shù)據(jù)集（datasets）、評(píng)估度量（metrics）、評(píng)估流程（pipelines）。由于圖數(shù)據(jù)的自身特性，當(dāng)前的一些工具包（tools）如IBM的AI360可能無(wú)法直接用于圖神經(jīng)網(wǎng)絡(luò)的評(píng)估。例如，節(jié)點(diǎn)之間邊的存在打破了節(jié)點(diǎn)上的獨(dú)立同分布（IID）假設(shè)，這就導(dǎo)致研究圖神經(jīng)網(wǎng)絡(luò)公平性時(shí)需要考慮節(jié)點(diǎn)之間的相互依賴。此外，由于應(yīng)用場(chǎng)景的多樣性，構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)也需要適用于不同任務(wù)和場(chǎng)景的數(shù)據(jù)集、度量、評(píng)估標(biāo)準(zhǔn)、軟件平臺(tái)等配套技術(shù)設(shè)施。因此，建立相應(yīng)的技術(shù)生態(tài)是可信圖神經(jīng)網(wǎng)絡(luò)的研究和產(chǎn)業(yè)化中的關(guān)鍵一步。?