2024年11月，萊斯特德蒙福特大學網(wǎng)絡(luò)安全教授Eerke Boiten發(fā)表了一篇警示文章，題為「當前的AI是一條死胡同嗎」。

在這篇文章中，Boiten教授從軟件工程的角度出發(fā)，分析了當前AI技術(shù)在管理和控制方面的重大缺陷。

他表示，AI系統(tǒng)的本質(zhì)問題在于它們無法與已有的軟件工程實踐有效結(jié)合，尤其是在復雜性管理和規(guī)模控制方面。盡管AI在諸如自動化、醫(yī)療、金融等領(lǐng)域取得了顯著成就，但其核心問題在于無法確保系統(tǒng)在規(guī)模化應用中的可控性與可靠性。

AI的復雜性管理問題

Boiten指出，目前的AI系統(tǒng)與傳統(tǒng)軟件開發(fā)標準存在嚴重的不匹配。

軟件工程的基本原則之一是，關(guān)鍵系統(tǒng)必須具備可管理性、透明性和問責制，而AI技術(shù)恰恰在這些方面存在缺陷。

例如，許多現(xiàn)代AI系統(tǒng)，尤其是基于深度學習的模型，在訓練和應用過程中缺乏透明的決策過程，且很難追溯和解釋其決策依據(jù)。

這種「黑箱」性質(zhì)讓AI系統(tǒng)在關(guān)鍵任務(wù)中的應用充滿風險。尤其是在涉及人類生命健康、金融交易、網(wǎng)絡(luò)安全等領(lǐng)域時，無法控制的系統(tǒng)可能帶來災難性的后果。

正因如此，Boiten認為，當前AI的不可管理性本質(zhì)上讓它無法在這些領(lǐng)域擔任核心角色。

缺少可靠性

此外，Boiten還強調(diào)了AI系統(tǒng)在可靠性方面的不足。

雖然AI的表現(xiàn)常常令人驚嘆，但其本身的可靠性依然遠未達到理想的水平。在進行高風險決策時，尤其是在醫(yī)療、司法、金融等領(lǐng)域，AI的錯誤率仍然不可忽視。

例如，AI在圖像識別中的誤差率可能較低，但在醫(yī)學診斷中，哪怕是極小的錯誤也可能帶來致命后果。

AI的在可靠性上的缺陷不僅僅體現(xiàn)在其技術(shù)能力上，更體現(xiàn)在其系統(tǒng)架構(gòu)的可管理性上。

由于缺乏有效的監(jiān)管和透明的設(shè)計，AI系統(tǒng)往往難以在嚴格的工程標準下工作。在面對不斷變化的現(xiàn)實情況時，AI的決策過程可能會出現(xiàn)不穩(wěn)定和不可預測的情況，這就增加了在關(guān)鍵領(lǐng)域應用它們的風險。

「可解釋AI」并非終極答案

為了應對AI的復雜性問題，業(yè)界提出了「可解釋AI」的概念，試圖使AI的決策過程更加透明和易于理解。

這種方法看似解決了長久以來被詬病的「黑箱」問題，但Boiten指出，這一解決方案并不能根除問題。

他認為，「可解釋AI」并沒有改變AI在復雜應用場景中的根本缺陷，它只是嘗試解釋現(xiàn)有模型的內(nèi)部工作方式來減少不確定性。然而，這并不意味著AI能夠在所有領(lǐng)域都能高效且可靠地運行。

因此，AI技術(shù)的進一步發(fā)展不能單純依賴于「可解釋性」，而應該更多地關(guān)注如何提升AI系統(tǒng)的可控性和安全性。對于AI的監(jiān)管和標準化，目前還沒有形成統(tǒng)一且有效的行業(yè)規(guī)范，而這一缺失將導致其在未來面臨更大的挑戰(zhàn)。

數(shù)據(jù)責任：難以跨越的障礙

除了「可解釋性」和「可靠性」，Boiten還指出，AI技術(shù)面臨的另一個巨大挑戰(zhàn)是數(shù)據(jù)責任問題。

AI系統(tǒng)的決策質(zhì)量，高度依賴于訓練數(shù)據(jù)的質(zhì)量，但目前很難有效保證數(shù)據(jù)的公正性、完整性和代表性。

由于數(shù)據(jù)存在偏差，AI模型可能會產(chǎn)生帶有偏見的判斷，這在一些敏感領(lǐng)域尤為嚴重，如司法審判、招聘決策等。

盡管業(yè)界推出了多種方案來減少數(shù)據(jù)偏見，但Boiten稱，這些方案僅僅是隔靴搔癢，并未觸及問題的根本。

隨著AI技術(shù)的發(fā)展和應用場景的擴大，數(shù)據(jù)偏見和隱私問題將變得更加嚴重。如果得不到有效解決，我們將不可避免地面臨倫理和法律風險。

未來展望：潛力與挑戰(zhàn)并存

Boiten教授的警示并不是對AI技術(shù)的全盤否定，而是對其在關(guān)鍵應用中的風險進行了深刻反思。

他承認，AI在許多領(lǐng)域已經(jīng)展現(xiàn)出了巨大的潛力，尤其是自動化和數(shù)據(jù)處理等方面。然而，更廣泛的應用必須在更加嚴格的工程標準下進行。對于那些影響人類安全和生活質(zhì)量的領(lǐng)域，AI的使用需要更加謹慎和透明。

文章的最后，Boiten回答了開頭拋出的問題——AI的未來并非一條死路，但當前的技術(shù)瓶頸和管理難題確實需要引起足夠的重視。

如果業(yè)界能在提升可控性、透明度和可靠性方面取得突破，AI將能在更廣泛的領(lǐng)域內(nèi)發(fā)揮其潛力。否則，上述這些挑戰(zhàn)足以限制AI在關(guān)鍵領(lǐng)域的落地，甚至讓我們走進「死胡同」。