讓你的數(shù)據(jù)為AI做好準(zhǔn)備的三個步驟
大多數(shù)IT領(lǐng)導(dǎo)者會發(fā)現(xiàn),依靠他們現(xiàn)有的數(shù)據(jù)管理實踐來增加AI的應(yīng)用是不可能的。
雖然許多企業(yè)已經(jīng)運行了少數(shù)成功的概念驗證,以證明GenAI的價值,但在未將生產(chǎn)AI就緒的數(shù)據(jù)成為標(biāo)準(zhǔn)實踐之前,將這些概念驗證進(jìn)行擴(kuò)展并將新技術(shù)應(yīng)用于業(yè)務(wù)的其他部分將永遠(yuǎn)行不通。Gartner最近的預(yù)測顯示,60%在沒有AI就緒的數(shù)據(jù)的情況下運行的AI項目將在明年被放棄,這揭示了IT領(lǐng)導(dǎo)者需要立即解除的時間炸彈。
對于許多CIO來說,為哪怕一個AI項目準(zhǔn)備數(shù)據(jù)也是一項艱巨的任務(wù)。“當(dāng)他們踏上AI之旅時,許多人發(fā)現(xiàn)自己的數(shù)據(jù)是垃圾,”軟件支持公司Rimini Street的CTO Eric Helmer說,“在某些情況下,他們不確定這些數(shù)據(jù)在數(shù)百個不同的系統(tǒng)中的哪個位置。當(dāng)他們找到數(shù)據(jù)時,又往往不知道這些數(shù)據(jù)是否處于AI可以使用的狀態(tài)。這往往會阻礙他們的AI愿望。”
為了應(yīng)對即將到來的、要求在整個企業(yè)中支持AI項目使用的海嘯,CIO們應(yīng)該采取以下三個步驟,以確保使數(shù)據(jù)為AI就緒做好準(zhǔn)備成為標(biāo)準(zhǔn)實踐。
放棄使用傳統(tǒng)IT來支持AI
“最終目標(biāo)是擁有AI就緒的數(shù)據(jù),這意味著質(zhì)量高、一致性強(qiáng)、結(jié)構(gòu)合理的數(shù)據(jù),這些數(shù)據(jù)經(jīng)過優(yōu)化,可以有效地用于AI模型中,并為特定應(yīng)用程序產(chǎn)生所需的結(jié)果,”安永全球AI領(lǐng)域負(fù)責(zé)人Beatriz Sanz Sáiz說。AI就緒的數(shù)據(jù)并不是CIO們只需要為單個應(yīng)用程序生產(chǎn)的東西——對于所有需要企業(yè)特定智能的應(yīng)用程序,他們都需要它。
然而,許多IT領(lǐng)導(dǎo)者發(fā)現(xiàn),使用標(biāo)準(zhǔn)數(shù)據(jù)實踐以及傳統(tǒng)IT硬件和軟件,無法實現(xiàn)這一目標(biāo)。“在龐大的、互不連通的系統(tǒng)中清理數(shù)據(jù),使其對AI有用幾乎是不可能的,”Helmer說,“如果你進(jìn)入一個人力資源系統(tǒng)并刪除重復(fù)記錄或以任何其他方式清理數(shù)據(jù),這些更改可能不會傳播到所有相關(guān)的數(shù)據(jù)存儲中,從而造成數(shù)據(jù)不一致。”
為了定期訓(xùn)練企業(yè)特定用例所需的模型,CIO們需要建立AI就緒的數(shù)據(jù)的管道,采用新的方法來收集、清理和編目企業(yè)信息。安永最近對數(shù)據(jù)管理領(lǐng)導(dǎo)者進(jìn)行的一項研究表明,大多數(shù)企業(yè)都還沒有做到這一點。在超過1200個企業(yè)參與的研究中,有三分之二的企業(yè)要么沒有適合AI的數(shù)據(jù)管理實踐,要么不確定自己是否有這樣的實踐。因此,計劃增加AI采用率的IT領(lǐng)導(dǎo)者顯然需要重新考慮他們的數(shù)據(jù)管理方式。
據(jù)日立萬達(dá)(Hitachi Vantara)AI領(lǐng)域的CTO Jason Hardy稱,到目前為止,大多數(shù)企業(yè)一直在依賴傳統(tǒng)系統(tǒng),而這些系統(tǒng)已經(jīng)在努力支持生產(chǎn)工作負(fù)載。現(xiàn)在,隨著AI工作負(fù)載的增加,結(jié)果是出現(xiàn)了許多影響日常運營的下游問題。CIO們不僅需要改造基礎(chǔ)設(shè)施,以便通過新的接口呈現(xiàn)大量數(shù)據(jù),還需要處理GenAI以前所未見的方式產(chǎn)生的所有數(shù)據(jù)。“AI革命正在迫使所有行業(yè)的數(shù)據(jù)中心進(jìn)行現(xiàn)代化改造,”Hardy說。
據(jù)Sáiz稱,早在2018年左右,現(xiàn)代化就已經(jīng)開始大規(guī)模進(jìn)行。新技術(shù)問世,使企業(yè)能夠開始改變其數(shù)據(jù)基礎(chǔ)設(shè)施和實踐,以滿足對大型結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集不斷增長的需求,這些數(shù)據(jù)集要為分析和機(jī)器學(xué)習(xí)提供動力。他們開始使用數(shù)據(jù)虛擬化,通過將數(shù)據(jù)消費與數(shù)據(jù)起源分離,減少了對大型數(shù)據(jù)倉庫的需求。現(xiàn)在,隨著自主式AI的出現(xiàn),對高質(zhì)量數(shù)據(jù)的需求比以往任何時候都增長得更快,這更加快了現(xiàn)有趨勢的緊迫性。
使用AI改進(jìn)數(shù)據(jù),并用知識改進(jìn)AI
Sáiz補(bǔ)充道,好消息是AI是解決方案的一部分。例如,可以使用GenAI生成合成數(shù)據(jù),還可以使用其他形式的AI來幫助分析和提高數(shù)據(jù)質(zhì)量。一些企業(yè)使用AI來分析數(shù)據(jù)分布,通過識別不在合理范圍內(nèi)的值,然后填充缺失的值。AI還可以幫助工程師定位有問題的數(shù)據(jù)集,應(yīng)用不同的技術(shù)來確定給定值的真實性概率。“我們目前看到,‘AI用于數(shù)據(jù)’是企業(yè)中應(yīng)用AI最大的領(lǐng)域之一,”Sáiz說,“數(shù)據(jù)和AI的革命同時進(jìn)行,產(chǎn)生了雙贏的局面。”
AI還可以通過擁有一個使用自助式AI來管理分散基礎(chǔ)設(shè)施的中央智能,來實現(xiàn)更加分散的數(shù)據(jù)基礎(chǔ)設(shè)施。數(shù)十萬個智能體可以強(qiáng)制執(zhí)行標(biāo)準(zhǔn)并確保數(shù)據(jù)一致性,據(jù)Sáiz稱,這是公司在數(shù)據(jù)基礎(chǔ)設(shè)施方面面臨的最大挑戰(zhàn)之一。
例如,AI可以幫助確保特定客戶的記錄在所有系統(tǒng)中(包括CRM、呼叫中心軟件和財務(wù)應(yīng)用程序)保持一致。“為了保持一致,每當(dāng)客戶與呼叫中心或網(wǎng)站互動時,所有系統(tǒng)都會在近乎實時的情況下獲得更改,”Sáiz說,“過去,你需要更多的延遲和大量的手動檢查,而現(xiàn)在,這一切都是由AI驅(qū)動的,AI不斷檢查狀態(tài)和主數(shù)據(jù)集,根據(jù)智能判斷是否需要在整個系統(tǒng)中更新記錄。”
據(jù)Sáiz稱,知識比數(shù)據(jù)更重要,因為它有助于解釋數(shù)據(jù)。可以在數(shù)據(jù)基礎(chǔ)設(shè)施之上構(gòu)建一個知識層,以提供上下文并減少錯誤判斷。“如果某人在電信行業(yè)運行一個預(yù)測模型,那么變量、輸入和結(jié)果將與在金融預(yù)測中運行相同模型時的變量、輸入和結(jié)果不同,”她說,“你越關(guān)注知識,你的AI就越準(zhǔn)確。”
采用迭代方法進(jìn)行轉(zhuǎn)型
一些IT領(lǐng)導(dǎo)者覺得眼前的挑戰(zhàn)令人難以承受,認(rèn)為他們需要在開始AI之旅之前將所有的數(shù)據(jù)都調(diào)整到完美狀態(tài)。但Hardy說,更好的方法是讓他們以迭代的方式改變其數(shù)據(jù)管理實踐和基礎(chǔ)設(shè)施。“一旦你奠定了基本原則和實踐,你就可以一次一個項目地進(jìn)行轉(zhuǎn)型,”他說。
其中一個基本原則是網(wǎng)絡(luò)安全,這是CIO們的首要關(guān)注點,據(jù)Hardy稱。IT領(lǐng)導(dǎo)者需要確保用于訓(xùn)練模型的數(shù)據(jù)不違反任何數(shù)據(jù)隱私規(guī)則,而且模型產(chǎn)生的響應(yīng)與用戶的訪問權(quán)限一致。“AI系統(tǒng)需要知道是誰在提問,以便帶回適當(dāng)級別的信息,并且不暴露任何額外信息,”Hardy說。
當(dāng)AI作為云服務(wù)提供時,還必須減輕暴露知識產(chǎn)權(quán)的風(fēng)險。“根據(jù)你與服務(wù)的接口方式,以及數(shù)據(jù)的類型、主權(quán)要求、敏感性要求和法規(guī),你可能會決定一些數(shù)據(jù)永遠(yuǎn)不應(yīng)該存儲在云中,”Hardy補(bǔ)充說,“制定指導(dǎo)原則將有助于你根據(jù)具體情況決定哪些數(shù)據(jù)保留在本地,哪些數(shù)據(jù)上傳至云端。”
據(jù)Helmer稱,應(yīng)該建立一個管理機(jī)構(gòu)來幫助確保遵循最佳實踐。任何開發(fā)或部署AI應(yīng)用程序的人都必須遵守一套規(guī)則,這些規(guī)則不僅與數(shù)據(jù)質(zhì)量一致,而且與保留政策、數(shù)據(jù)依賴政策和所有適當(dāng)?shù)姆ㄒ?guī)一致。
“在你的旅程中,決定每個項目的目標(biāo)結(jié)果,”Hardy說,“然后弄清楚你需要什么數(shù)據(jù),以及你需要與哪些系統(tǒng)接口來實現(xiàn)這個結(jié)果。與其在看不到任何回報之前就試圖解決所有問題,不如一次關(guān)注一個數(shù)據(jù)轉(zhuǎn)換結(jié)果。”