AI區別于傳統軟件的一個基本特征是它的非確定性。即使使用相同的輸入，不同輪的計算也會產生不同的結果。雖然這一特征極大地促進了AI令人興奮的技術潛力，但它也帶來了挑戰，特別是在衡量基于AI的應用程序的有效性方面。

下面是這些挑戰的一些錯綜復雜的部分，以及戰略研發管理可以起到一些作用的方法。

AI應用程序的性質

與傳統軟件系統不同，在傳統軟件系統中，重復和可預測性對功能既是預期的，也是至關重要的，AI應用程序的非確定性性質意味著它們不會從相同的輸入產生一致的、可預測的結果。他們也不應該——如果ChatGPT一遍又一遍地進行相同的腳本響應，而不是每次都有新的東西，它就不會引起如此大的轟動。

這種不可預測性源于ML和深度學習中使用的算法，這些算法依賴于統計模型和復雜的神經網絡。這些AI系統旨在不斷從數據中學習并做出明智的決策，從而根據上下文、訓練輸入和模型配置產生不同的輸出。

衡量是否成功時面臨的挑戰

由于其概率結果、針對不確定性而編程的算法以及對統計模型的依賴，AI應用程序使基于預定預期定義明確的成功衡量標準變得具有挑戰性。換句話說，從本質上講，AI可以以類似于人類思維的方式思考、學習和創造。但我們怎么知道它認為什么是正確的呢?

另一個關鍵的復雜因素是數據質量和多樣性的影響。AI模型在很大程度上依賴于它們所訓練的數據的質量、相關性和多樣性——它們從這些信息中“學習”。為了使這些應用程序獲得成功，它們必須接受包含各種場景(包括邊緣案例)的代表性數據的培訓。評估訓練數據的充分性和準確表示對于確定AI應用程序的整體成功至關重要。然而，考慮到AI的相對新穎性，以及它所使用的數據的質量和多樣性的標準尚未確定，結果的質量在不同的應用程序中波動很大。

然而，有時是人類思維的影響——更具體地說，是語境解釋和人類偏見——讓衡量AI的成功變得復雜。AI工具通常需要這種人工評估，因為這些應用程序需要適應不同的情況、用戶偏見和其他主觀因素。

因此，在這種情況下衡量成功成為一項復雜的任務，因為它涉及到獲取用戶滿意度、主觀評估和特定于用戶的結果，而這些結果可能不容易量化。

如何克服挑戰

了解這些復雜情況背后的背景是提出改進成功評估和使AI工具更好地工作所需戰略的第一步。以下是三個可以幫助你的策略：

1、定義概率成功指標

鑒于AI應用結果固有的不確定性，那些負責評估其成功的人必須拿出專門為捕捉概率結果而設計的全新指標。可能對傳統軟件系統有意義的成功模式與AI工具配置根本不兼容。

與其只關注確定性的績效指標，如準確度或精確度，不如將可信區間或概率分布等概率指標納入其中——這些統計指標評估特定參數內不同結果的概率——可以提供更全面的成功圖景。

2、更強大的驗證和評估

建立嚴格的驗證和評估框架對AI應用至關重要。這包括全面測試、對照相關樣本數據集進行基準測試，以及進行敏感性分析以評估系統在不同條件下的性能。定期更新和再培訓模型，以適應不斷變化的數據模式，有助于保持準確性和可靠性。

3、以用戶為中心的測評

AI的成功不僅僅存在于算法的范圍內。從接受產出的人的角度來看，產出的有效性同樣重要。

因此，在衡量AI應用程序的成功時，尤其是針對面向消費者的工具，納入用戶反饋和主觀評估是至關重要的。通過調查、用戶研究和定性評估收集見解，可以提供有關用戶滿意度、信任度和感知效用的寶貴信息。平衡客觀的績效指標和以用戶為中心的產出評估，將產生更全面的成功視角。

評估是否成功

衡量任何給定AI工具的成功需要一種微妙的方法，承認其輸出的概率性質。那些參與創造和微調任何能力的AI的人，特別是從研發角度來看，必須認識到這種固有的不確定性帶來的挑戰。

只有定義適當的概率指標，進行嚴格的驗證，并納入以用戶為中心的評估，該行業才能有效地駕馭AI激動人心的潛在能力。