AI項目的失敗往往跟大麻煩無關，而是由一個個微小細節所決定。面對種種激動人心的可能性，企業在最初啟動AI項目時往往信心滿滿。但具體實施過程中的現實問題很容易熄滅這份熱情，導致AI項目被擱置甚至最終失敗。而引發失敗的常見問題之一，就是組織缺乏對項目長期成本的準確考量。管理層只核算出了項目的初始成本，卻沒注意到后期的維護與更新開銷。

研究企業Cognilytica就對數百個失敗的AI項目做出全面分析，意識到很多組織沒有意識到AI項目生命周期的連續性。組織通常只會為項目的前幾輪迭代分配預算，包括數據準備、清洗、模型訓練、數據標記、模型評估和迭代需求等，但卻沒能為持續實施的迭代工作保持預算供應。另外，組織還必須持續監控模型和數據衰減，根據需求重新訓練模型，并考慮未來進一步擴展和迭代。隨著時間推移，這必然導致組織對AI項目的投資回報率產生預期偏差甚至失調。

在考量模型的連續迭代成本時，大家到底經歷了怎樣的思考過程？大多數組織面臨的挑戰是，他們往往把AI項目視為一次性概念驗證或試點應用，并沒有考慮預留一部分資金、資源和人力用于模型的持續評估和重新訓練。但作為典型的數據驅動項目，AI絕不是一次性投資。人們可能沒有意識到，一旦模型被投入生產，他們就需要持續為模型的迭代和開發分配資金、資源和人力。

所以只考慮到模型構建成本的組織，會在項目啟動之后遇到各種問題。以AI項目成本和投資回報為例，AI項目所有者需要關注模型的維護成本是多少，以及愿意為后續數據準備和模型迭代再投入多少資源。

而成功AI項目的一大共通之處，就在于其功能不會一次性交付。相反，成功的項目會將AI方案視為持續迭代的循環，并不存在明確的起點和終點。就如同網絡安全項目不是一次性項目一樣，AI這類數據驅動項目也需要持續運轉，確保適應不斷變化的現實、不斷變化的數據。即使是最初效果極好的模型，也可能隨著時間推移而逐漸失效，畢竟數據漂移和模型漂移不可避免。此外，隨著組織自身的發展，對AI應用的專業知識和技巧、用例、模型及數據也會持續更新、不斷變化。

再有，全球經濟和世界格局也在以意想不到的方式震蕩波動。于是乎，任何長期規劃項目、包括極度復雜的AI項目，都免不了要隨之做出調整。過去兩年以來，零售商肯定預料不到供應鏈和勞動力市場出現的沖擊，組織也想不到員工會快速轉向居家辦公。現實世界和用戶行為的快速變化必然導致數據發生變化，所以模型也得隨之變化。正因為如此，我們才需要對模型開展持續監控和迭代，充分考慮到數據漂移與模型漂移問題。

關于迭代的思考：方法論與ML Ops

當組織計劃擴展或增強模型時，也同樣需要匹配原有模型迭代機制。例如，如果一家北美企業希望將購買模式預測模型擴展到其他市場，就需要持續迭代模型和數據以適應新的數據需求。

這些因素意味著，組織必須不斷為迭代提供額外資金，確保模型能夠正確識別數據源及其他關鍵因素。而獲得AI成功的組織也意識到，他們需要遵循經驗驗證的迭代和敏捷方法，借此順利完成AI項目擴展。憑借敏捷方法論和以數據為中心的項目管理思路，跨行業數據挖掘流程標準（CRISP-DM）等已經開始增強AI功能，保證迭代項目不至于遺漏掉某些關鍵步驟。

隨著AI市場的不斷發展，名為“ML Ops”的新興機器學習模型運營管理也開始受到追捧。ML Ops專注于模型的開發和使用、機器學習運營及部署的整個生命周期。ML Ops方法及解決方案旨在幫助組織在持續發展的空間當中管理并監控AI模型。ML Ops也可謂站在巨人的肩膀上，充分汲取了DevOps以開發為中心的項目持續迭代/開發思路，以及DataOps對于不斷變化的大規模數據集的管理經驗。

ML Ops的目標是為組織提供模型漂移、模型治理與版本控制等可見性指引，借此協助AI項目迭代。ML Ops能幫助大家更好地管理這些問題。雖然目前市面上充斥著各種ML Ops工具，但ML Ops與DevOps一樣，主要強調的是組織自己做事，而非花錢購買就能無腦解決。Ml Ops最佳實踐涵蓋模型治理、版本控制、發現、監控、透明度以及模型安全/迭代等一系列環節。ML Ops解決方案還能同時支持同一模型的多個版本，根據特定需求對其進行行為定制。這類解決方案還會跟蹤、監控和確定誰有權訪問哪些模型，同時嚴格保障治理及安全管理等原則。

考慮到AI迭代的現實需求，ML Ops已經開始成為整體模型構建與管理環境中的重要組成部分。這些功能未來也有望越來越多地作為整體AI及ML工具集中的一分子，并逐步登陸云解決方案、開源產品及ML機器學習平臺等應用場景。

失敗是成功之母

ML Ops與AI項目的成功，離不開最佳實踐的支持和引導。問題并不會導致AI項目失敗，無法準確解決問題才是失敗的根源。組織需要將AI項目視為一種迭代且循序漸進的過程，并充分通過AI認知項目管理（CPMAI）方法和不斷發展的ML Ops工具探索出適合自己的最佳實踐。從大處著眼，從小處著手，持續迭代的理念應當貫穿AI項目的整個生命周期。這些失敗案例絕不是故事的終章，而應該成為新的開始。