AI Factory如何快速安全地從概念進入產業化
人工智能(AI)被組織視為獲得競爭優勢的一項重要技術。市場數據表明,2020年人工智能業務的使用量同比增長了25%,其中63%的組織高管認為人工智能可以帶來收入的增長。在全球持續蔓延的疫情將使其表現更加突出。越來越多的組織采用適合的人工智能解決方獲得生存和發展,并能夠快速有效地進行部署和擴展。
然而,與所有游戲規則的改變一樣,組織采用人工智能計劃也面臨新的挑戰,并在實施中存在很多問題,其中最主要的問題是:如何才能采用正確的數據方法來快速高效地部署人工智能計劃,并且長期內不會出現故障并可持續發展?正是由于這個原因, “AI Factory”應運而生。
AI Factory是一種組織化的運營模型,以系統化的方式將不同的人才、能力和流程結合起來,從而使組織在人工智能部署和可擴展性方面獲得成功。家樂福和ENGIE公司等行業領導者已有效地使用AI Factory在其業務中交付變革性的人工智能項目。但是,從頭開始建立有效的AI Factory可能會令人生畏,因此需要專家團隊的幫助和清晰的愿景才能使流程正常運行。
制定完美的規劃
對于組織來說,至關重要的第一步是為AI Factory定義愿景和用例,這將成為組織的數據策略。組織必須確定使其轉型具有最大業務潛力的用例,無論是供應鏈優化還是合規管理,在各方面都存在機遇。
還應該考慮組織的人工智能愿景。重要的是其發展方式以便進行規劃,并對未來有一個清晰的想法。組織可以從初步的總體角度來繪制適用于數據和人工智能的版本。
接下來,必須通過識別和分類用例來評估具體的業務機會。這是通過評估業務影響和復雜性來實現的。在整個過程中,關注心態是很重要的,要管理大規模的變革,需要從組織的高管到一線員工的每個人都參與進來。
AI Factory的四大支柱
在定義組織的數據策略和人工智能愿景后,應該優先確定要實施的用例列表。但是,如何開始研究它們呢?AI Factory的有效實施建立在以下四個支柱上:
(1)單一治理
為了提高效率,治理必須是高級的、專門的和量身定制的。由數據領導者組成的AI Factory委員會在提供總體贊助和指導方面非常重要,因為它與人工智能愿景共享,并與團隊和路線圖保持一致。在項目管理層,應該建立AI Factory的主管角色,其中包括業務、運營、法律、安全、IT數據專家,他們的作用應該是審查、仲裁和驗證進展。
最后在運營層面要建立敏捷團隊。這個功能團隊負責交付人工智能產品用例。它們是緊密聯系的部門,相互協作以確保永久的信息流和透明度。最重要的是,它們應該是跨學科的,結合了組織的技能和專長。它們以成就為導向,每個目標都是以一個單一目標創建的:提供一個由唯一目標衡量的用例。
(2)多元化的專家團隊
為了提高效率,結構化組織應該在基于敏捷方法的混合團隊中收集業務、數據、軟件和數字技術技能。敏捷性確保了工作方式的靈活性和適應性,并避免了與孤島方法相關的問題,例如同一結構中的孤立部門或過于嚴格的程序。這需要很好地混合業務和技術概要,以確保在技術方面開發的內容始終具有滿足業務需求的有用目的。
可擴展性是團隊組成的重要特征。這個想法是其結構可以很容易地復制,類似于樂高積木。通過其完全可擴展的模型,可以添加更多團隊來解決其他用例。
(3)先進的人工智能技術
當然,有效的部署需要人工智能支持技術的基礎。AI Factory使用開源、專有和云計算解決方案的組合。根據最佳實踐,應該從頭到尾在整個數據管道(從攝取到可視化)中對它們實現標準化。
(4)行之有效的方法和系統
需要進行系統化以確保始終按照特定順序執行一系列步驟,每個步驟都有自己明確的目標。其具有雙重好處:首先,這提供了公共引用的總體結構,從而保證一致性。其次,這使其方法具有可復制性和可擴展性,從而大大加快了工業化階段的部署。
MLOps:保持工廠運轉
除了設定用例方法之外,還必須部署MLOps(機器學習運營)實踐以彌合概念階段與生產之間的差距。受到DevOps流程的啟發,這應該結合軟件開發和IT運營以縮短開發生命周期。
MLOps的目的是克服傳統編碼系統所不具備的挑戰。第一個挑戰是團隊之間的協作:不同的單元通常是孤立的,并且擁有流程的不同部分。這扼殺了生產所需的協作性。第二個挑戰是管道管理,因為機器學習管道比傳統的管道更復雜。它們有特定的特性,包括在整個生產過程中必須測試和監控的構建塊。最后一個挑戰是,機器學習模型通常需要多次迭代,當以人工并且特別的方式投入生產時,它們變得僵化且難以更新。
與其相反,MLOps方法應將所有機器學習資產嵌入到持續集成(CI)/持續交付(CD)管道中,以確保快速無縫地部署。在每個新版本發布之前,應該測試所有數據、功能和模型,以防止質量或性能下降。所有利益相關者應該目標一致,并將軟件工程最佳實踐應用于數據科學項目——版本控制、部署環境、測試。
歸根結底,MLOps是一種以與所有其他生產要素統一的方式來持續管理機器學習項目的學科。它確保了從用例早期階段到用例產業化的有效技術交付。
成功的框架
人工智能為組織帶來巨大的希望,但對于無法正確部署的組織來說也有巨大的風險。 AI Factory模型的真正好處在于,它為快速成功地實施建立了一個核心框架。其流程、團隊和工具本質上是可遷移和可重復的,這意味著組織可以在追求人工智能愿景時保持敏捷。一旦流程建立并得到MLOps的支持,組織就會獲得人工智能加強業務所需的條件。