2024年非結(jié)構(gòu)化數(shù)據(jù)管理將以四種方式發(fā)生變化
如果說(shuō)經(jīng)濟(jì)好的時(shí)候、壞的時(shí)候、不確定的時(shí)候、穩(wěn)定的時(shí)候有一個(gè)不變的東西的話,那就是我們對(duì)大多數(shù)非結(jié)構(gòu)化數(shù)據(jù)的依賴,以及我們從海量數(shù)據(jù)收集中得出的分析。非結(jié)構(gòu)化數(shù)據(jù)是指當(dāng)今公司的文檔、圖像、音頻和視頻文件、傳感器數(shù)據(jù)和研究數(shù)據(jù)。
想想監(jiān)控和車載攝像頭視頻加上快速DNA分析來(lái)更快地破案,供應(yīng)鏈分析來(lái)預(yù)測(cè)核心產(chǎn)品和服務(wù)的可用性,傳感器驅(qū)動(dòng)的土壤和天氣條件分析來(lái)提高作物產(chǎn)量,或者客戶支持電話分析來(lái)改善產(chǎn)品和體驗(yàn)。
現(xiàn)在,有了GenAI,以及它提供的一長(zhǎng)串潛在的社會(huì)效益和風(fēng)險(xiǎn)。正是IT專業(yè)人員管理數(shù)據(jù),并將存儲(chǔ)、保護(hù)和交付給用戶和應(yīng)用程序的技術(shù)作為數(shù)據(jù)經(jīng)濟(jì)的關(guān)鍵參與者。事實(shí)上,根據(jù)KomEnterprises《2023年非結(jié)構(gòu)化數(shù)據(jù)管理狀況》調(diào)查,為AI做準(zhǔn)備是首要的數(shù)據(jù)存儲(chǔ)優(yōu)先事項(xiàng),其次是云成本優(yōu)化。
隨著我們進(jìn)入2024年,公司將需要?jiǎng)?chuàng)新并更智能地使用AI。數(shù)據(jù)存儲(chǔ)和備份至少占IT預(yù)算的30%。我們下面的預(yù)測(cè)集中在優(yōu)化AI和云技術(shù)的數(shù)據(jù)管理組件上,隨著GenAI開(kāi)啟最終用戶生產(chǎn)力和技術(shù)熟練的新紀(jì)元,其具有長(zhǎng)期的影響。
1、AI數(shù)據(jù)治理的多層次方法
KomEnterprises對(duì)IT決策者的調(diào)查發(fā)現(xiàn),企業(yè)正在限制允許員工使用的工具和/或數(shù)據(jù),這是重要的第一步,但AI數(shù)據(jù)治理需要一個(gè)戰(zhàn)略規(guī)劃。
GenAI創(chuàng)造了從隱私和安全到數(shù)據(jù)泄露、透明度、準(zhǔn)確性、道德等諸多風(fēng)險(xiǎn)。IT不是依賴一個(gè)系統(tǒng)來(lái)管理這些不同的問(wèn)題,而是需要部署多個(gè)AI安全工具層,從網(wǎng)絡(luò)級(jí)別開(kāi)始,以防止AI工具訪問(wèn)被阻止的數(shù)據(jù)或用戶將公司數(shù)據(jù)發(fā)送到未經(jīng)授權(quán)的AI服務(wù)。
第二級(jí)保護(hù)位于數(shù)據(jù)級(jí)別,審核哪些數(shù)據(jù)被移動(dòng)到哪里,何時(shí)由誰(shuí)?移動(dòng),并在個(gè)人身份信息或敏感數(shù)據(jù)被共享時(shí)發(fā)出警報(bào)。最后,在用戶層可以存在一種安全機(jī)制,以便在用戶使用公司或敏感數(shù)據(jù)設(shè)計(jì)提示時(shí)發(fā)出警告,或者在提示可能泄露太多公司背景時(shí)提供反饋。跨混合云存儲(chǔ)對(duì)非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)的可見(jiàn)性是保護(hù)數(shù)據(jù)和監(jiān)控GenAI項(xiàng)目的基礎(chǔ)。
2、云遷移的財(cái)務(wù)運(yùn)營(yíng)專業(yè)知識(shí)
行業(yè)研究表明,管理云支出是企業(yè)面臨的一大挑戰(zhàn),許多公司對(duì)這一支出或如何優(yōu)化這一支出的可見(jiàn)性有限。?基本上,數(shù)據(jù)量繼續(xù)超過(guò)存儲(chǔ),隨著數(shù)據(jù)老化,IT領(lǐng)導(dǎo)者需要經(jīng)濟(jì)高效的數(shù)據(jù)選項(xiàng),例如云對(duì)象存儲(chǔ)。
根據(jù)KomEnterprises的調(diào)查,雖然在2022年,27%的企業(yè)管理著10PB或更多的數(shù)據(jù),但今年,這一數(shù)據(jù)密集型所有者的比例已躍升至驚人的32%。過(guò)度采購(gòu)存儲(chǔ)容量以避免任何業(yè)務(wù)中斷、云資源利用不足和一刀切的存儲(chǔ)策略造成了大量浪費(fèi)。
將財(cái)務(wù)運(yùn)營(yíng)融入日常實(shí)踐將是從云數(shù)據(jù)遷移中產(chǎn)生價(jià)值和投資回報(bào)的核心因素。?在2024年,IT將需要在遷移項(xiàng)目前后了解數(shù)據(jù)存儲(chǔ)成本和數(shù)據(jù)使用模式,并與上層管理人員清楚地溝通這些指標(biāo),以創(chuàng)建對(duì)云的認(rèn)可。
采用分析優(yōu)先方法進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)管理的組織將避免云浪費(fèi),他們將能夠刪除重復(fù)和孤立的數(shù)據(jù)以及遷移前不再需要的數(shù)據(jù),并可以將數(shù)據(jù)正確放置在適當(dāng)?shù)脑茖又校朔治鰬?yīng)包括云存儲(chǔ)的多個(gè)層之間的明顯區(qū)別,這些云存儲(chǔ)具有自動(dòng)化流程,可在數(shù)據(jù)過(guò)時(shí)時(shí)將其移動(dòng)到低成本存儲(chǔ),以最大限度地節(jié)省成本。
3、儲(chǔ)備IT專業(yè)人員的豐富技能
術(shù)語(yǔ)FinOps將成為2024年存儲(chǔ)架構(gòu)師術(shù)語(yǔ)的一部分。隨著存儲(chǔ)變得更加以軟件和服務(wù)為中心,管理硬件的要求越來(lái)越低。相反,管理供應(yīng)商、合同以及向部門(mén)和用戶提供安全、經(jīng)濟(jì)高效的數(shù)據(jù)服務(wù)將占用存儲(chǔ)專業(yè)人員的大量時(shí)間。公司也不再是單一供應(yīng)商的商店,存儲(chǔ)管理員必須能夠在不同的技術(shù)之間切換,而不是專攻一個(gè)平臺(tái)。
這需要在網(wǎng)絡(luò)、安全、云架構(gòu)、成本建模和數(shù)據(jù)分析方面擁有更廣泛的技能和知識(shí)。“數(shù)據(jù)洞察工程師”或“數(shù)據(jù)管理架構(gòu)師”等數(shù)據(jù)頭銜將取代特定于存儲(chǔ)的工作頭銜。在成熟的基礎(chǔ)設(shè)施團(tuán)隊(duì)中,負(fù)責(zé)存儲(chǔ)的經(jīng)理將與數(shù)據(jù)科學(xué)和AI團(tuán)隊(duì)合作,采購(gòu)支持AI的基礎(chǔ)設(shè)施,并設(shè)計(jì)數(shù)據(jù)分類和數(shù)據(jù)工作流到分析平臺(tái)的計(jì)劃。
4、AI的非結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)備
有了成本優(yōu)化和AI數(shù)據(jù)治理的戰(zhàn)略,IT部門(mén)就可以集中精力利用非結(jié)構(gòu)化數(shù)據(jù)來(lái)滿足新的用例需求,非結(jié)構(gòu)化數(shù)據(jù)包含AI的隱藏價(jià)值。
IT領(lǐng)導(dǎo)者將尋找自動(dòng)化方法來(lái)分析非結(jié)構(gòu)化數(shù)據(jù)、索引元數(shù)據(jù)并使用AI和機(jī)器學(xué)習(xí)來(lái)豐富/分類數(shù)據(jù),這將使團(tuán)隊(duì)能夠運(yùn)行深入的分析,以發(fā)現(xiàn)并僅將正確的數(shù)據(jù)提供給AI應(yīng)用程序,從而為研究人員和數(shù)據(jù)科學(xué)家節(jié)省大量手動(dòng)工作。