譯者 | 李睿

審校 | 重樓

人工智能(AI)和機器學習(ML)模型如今變得越來越復雜，這些模型產生的輸出是黑盒——無法向利益相關者解釋。可解釋性人工智能（XAI）旨在通過讓利益相關者理解這些模型的工作方式來解決這一問題，確保他們理解這些模型實際上是如何做出決策的，并確保人工智能系統中的透明度、信任度和問責制來解決這個問題。本文探討了各種可解釋性人工智能(XAI)技術，以闡明它們的基本原理。

可解釋性人工智能至關重要的幾個原因

• 信任度和透明度：為了讓人工智能系統被廣泛接受和信任，用戶需要了解決策是如何做出的。
• 法規遵從性：歐盟的《通用數據保護條例》(GDPR)等法律要求對影響個人的自動化決策做出解釋。
• 模型調試和改進：深入了解模型決策可以幫助開發人員識別和糾正偏差或不準確之處。

可解釋性人工智能的核心技術

可解釋性人工智能技術可分為模型不可知方法和模型特定方法，每種方法都適用于不同類型的人工智能模型和應用。

模型不可知方法

（1）局部可解釋模型不可知論解釋(LIME)

局部可解釋模型不可知論解釋(LIME)是一項開創性的技術，旨在使人類可以理解復雜機器學習模型的預測。從本質上講，LIME的好處在于它的簡單性和解釋任何分類器或回歸器行為的能力，而不管其復雜性如何。

LIME通過使用可解釋的模型在局部近似來闡明任何分類器或回歸器的預測。關鍵思想是擾動輸入數據并觀察預測如何變化，這有助于識別顯著影響預測的特征。

在數學上，對于給定的實例\(x\)和模型\(f\), LIME生成一個新的擾動樣本數據集，并使用\(f\)對它們進行標記。然后，它學習一個局部忠實于\（f\）的簡單模型\（g\）（例如線性模型），最小化以下目標：

\[ \xi(x) = \underset{g \in G}{\text{argmin}} \; L(f, g, \pi_x) + \Omega(g) \]

其中\(L\)是衡量\(g\)在\(x\)周圍近似\(f\)時的不忠實程度，\(\pi_x\)是是定義\（x\）周圍局部鄰域的鄰近度度量，并且\(\Omega\)懲罰\(g\)的復雜性。

（2）Shapley可加性解釋(SHAP)

Shapley可加性解釋(SHAP)通過為特定預測的每個特征分配重要值來幫助人們理解機器學習模型的輸出。想象一下，人們正試圖根據房子的大小、年限和位置等特征來預測房子的價格。某些特征可能會提高預期價格，而其他特征可能會降低預期價格。相對于基線預測（數據集的平均預測），SHAP值有助于人們準確量化每個特征對最終預測的貢獻。

特征\(i\)的SHAP值定義為：

\[ \phi_i = \sum_{S \subseteq F \setminus \{i\}} \frac{|S|!(|F| - |S| - 1)!}{|F|!} [f_x(S \cup \{i\}) - f_x(S)] \]

其中，\F\）是所有特征的集合，\S\）是不包括\（i\）的特征的子集，\(f_x(S)\)是特征集\S\）的預測，總和是所有可能的特征子集。該公式確保每個特征的貢獻根據其對預測的影響進行公平分配。

特定于模型的方法

（1）神經網絡中的注意機制

神經網絡中的注意機制強調輸入數據中與做出預測最相關的部分。在序列到序列模型的場景中，目標時間步長\(t\)和源時間步長\(j\)的注意力權重\(\alpha_{tj}\)計算為:

\[ \alpha_{tj} = \frac{\exp(e_{tj})}{\sum_{k=1}^{T_s} \exp(e_{tk})} \]

其中\(e_{tj}\)是一個評分函數，用于評估位置\(j\)的輸入和位置\(t\)的輸出之間的對齊情況，\(T_s\)是輸入序列的長度。這種機制允許模型關注輸入數據的相關部分，從而提高可解釋性。

（2）決策樹的可視化

決策樹通過將決策表示為從輸入特征派生的一系列規則來提供固有的可解釋性。決策樹的結構可以實現可視化，節點表示基于特征的決策，葉子表示結果。這種可視化表示可以直接跟蹤輸入特征是如何導致特定預測的。

（3）實際實施和道德考慮

實現可解釋的人工智能需要仔細考慮模型類型、應用程序要求和解釋的目標受眾。在模型性能和可解釋性之間進行權衡也很重要。從道德上來說，確保人工智能系統的公平性、問責制和透明度至關重要。可解釋性人工智能的未來方向包括標準化解釋框架和繼續研究更有效的解釋方法。

結論

可解釋性人工智能對于解釋復雜的AI/ML模型，提供信任和確保其應用程序中的問責制至關重要。它利用了LIME、SHAP、注意力機制和決策樹可視化等技術。隨著該領域的發展，更復雜和標準化的可解釋性人工智能方法的開發對于解決軟件開發和法規遵從性的不斷發展的需求將是至關重要的。

原文標題：Explainable AI: Interpreting Complex AI/ML Model，作者：Rajiv Avacharmal