Denodo預測2023年數據管理和分析的未來
然新冠肺炎疫情加速推進了企業的數字化轉型,但普遍的共識是,數字業務模式已經在很多企業(以傳統企業為主)一勞永逸地建立起來。即便傳統企業已全面恢復生產經營,其大量業務交易仍將以數字方式進行。事實上,數字和數據驅動的業務創新可能會使領先者從競爭中脫穎而出。
數據是數字業務的核心,通過實施適當的策略和規劃來管理數據及相關基礎設施,將是企業成功的關鍵。正因如此,我們可以看到,在與數據管理基礎設施和架構相關的領域內出現了很多創新。以下是Denodo認為將在 2023 年產生最大影響的五大趨勢,這些趨勢與數據和分析有關。
趨勢 1:隨著經濟即將進入衰退周期的風險升高,公司將尋求優化基礎設施成本
無論北美地區目前是否處于衰退,各公司都在積極削減成本,減少 IT 基礎設施。這些措施對于首席執行官而言都已經習以為常。雖然可以通過使用云繼續降低計算和存儲成本,但由于在數據和分析基礎設施方面投入巨大,向云端遷移仍有可能給組織帶來高昂的成本和支出。部分得益于存儲、計算和應用程序方面的廣泛選擇,公司通常采用淘汰并更換的策略來實現數據和分析工作的現代化。這種方法不僅成本高昂,而且通常會導致 IT 部門運營中斷。
Denodo認為2023 年,更多公司的 IT 部門將專注于以現代化、無中斷的方式來更新其 IT 基礎設施,無論其數據是完全駐留在單個云、多個云中,還是駐留在包括本地在內的混合環境中。
趨勢 2 – 數據治理將更加重視對業務而言最重要的數據
隨著數據量的增長、行為數據等新數據類型的出現以及數據環境的分布式趨勢日益增強,企業數據治理仍然是企業面臨的首要挑戰。在跨整個企業管理數據標準和訪問策略的同時,確保用戶能夠訪問可靠且與目標相符的業務數據,正變得越來越復雜和具有挑戰性。最近多起數據泄露事件引發了關于應該保留多少數據以及應該保留哪些數據的思考,并凸顯了監控企業數據使用情況的必要性。
很多組織都依賴技術和數據治理平臺幫助他們解決這些數據管理難題。他們希望找到的解決方案能在異構和碎片化的數據生態系統中提供集中管理和控制,同時支持數據的發現、訪問和理解。“數據公民”希望確保數據值得信賴并與業務目標相符,而組織則希望更好地了解數據使用模式,以便更好地滿足業務部門對提供數據智能的數據需求。
在接下來的一年中,很多組織將開始關注對業務而言最重要的數據,并將采用適當的治理級別。
趨勢 3:加速采用數據編織和數據網格
在過去二十年間,數據管理經歷了集中化與分散化的循環,其中涉及的技術包括數據庫、數據倉庫、云數據存儲、數據湖等。雖然在哪種方法最好的爭論中,支持者和反對者勢均力敵,但過去幾年已經證明,對于大多數組織而言,數據更加分散而非集中。部署企業數據架構有多種選擇,但在 2022 年,為了更好地管理和訪問分布式數據,兩種數據架構方法(數據編織和數據網格)的采用速度明顯加快。雖然兩者之間存在固有差異,數據編織是多種數據管理技術組成的可組合體系,而數據網格是流程導向,旨在讓一組分布式團隊在他們適合的領域管理企業數據。但對于希望更好地管理數據的企業而言,二者都至關重要。輕松訪問數據并確保其受到治理和安全保護,對于每個數據利益相關者(從數據科學家一直到高管)來說都很重要。畢竟,它對于儀表板和報告、高級分析、機器學習和 AI 項目都至關重要。
如果通過部署正確的數據基礎設施進行適當構建,數據編織和數據網格都可以在企業范圍的數據訪問、集成、管理及交付中發揮關鍵作用。因此,Denodo預計在 2023 年,大中型企業對這兩種架構方法的采用將迅速增加。
趨勢 4:隨著基于 AI 的決策在商業領域的采用增加,符合倫理要求的 AI 將變得至關重要
各行各業的很多公司都在加速使用 AI 進行基于數據的決策,無論是社交媒體平臺控制帖子、幫助醫療保健專業人員與患者建立聯系,還是大型財富管理銀行向其最終消費者提供信貸。然而,當最終結果由人工智能決定時,目前尚無辦法抑制算法中的固有偏差。正因如此,擬議中的《歐盟人工智能法案》和《加拿大 C-27 法案》(如果頒布,可能會成為《人工智能和數據法案》)等新興法規開始圍繞人工智能在商業組織中的使用建立監管框架。這些新法規將人工智能應用程序的風險分為“不可接受”、“高”、“中”或“低”風險,并相應禁止或管控這些應用程序的使用。
在 2023 年,組織需要能夠遵守這些擬議中的法規,包括關于隱私和數據治理、算法透明、公平和無歧視、問責制及可審核性的規定。考慮到這一點,組織必須實施自己的框架,為符合倫理要求的 AI 提供支持,例如可信賴 AI 的指導方針、同行評審框架,以及 AI 倫理委員會。隨著越來越多的公司開始使用 AI,符合倫理要求的 AI 在未來一年必將變得比以往任何時候都更加重要。
趨勢 5: 增強數據質量、數據準備、元數據管理和分析
雖然很多數據管理工作的最終結果是為高級分析提供數據并支持 AI 和 ML,但適當的數據管理本身對于組織的成功至關重要。數據常被稱為新石油,因為基于數據和分析的見解能夠不斷推動業務創新。隨著組織使用數據的速度不斷提高,公司密切關注數據治理、數據質量和元數據管理也變得至關重要。然而,隨著數據量、種類以及產生和使用速度的持續增長,數據管理的方方面面也變得非常復雜,為大規模管理造成嚴重困難。您可以思考一下數據科學家和數據工程師在開始利用數據之前查找和準備數據所花費的時間。正因如此,各種數據管理供應商最近開始采用增強型數據管理方法,通過使用 AI,眾多組織能夠自動完成很多數據管理任務。
根據一些頂級分析公司的說法,數據編織的每一層(即數據攝取、數據處理、數據編排、數據治理等)均應將 AI/ML 融入其中,以實現數據管理過程每個階段的自動化。在 2023 年,增強型數據管理將獲得強大的市場牽引力,幫助數據管理專業人員專注于提供數據驅動的見解,而不是被日常管理任務所阻礙。
這些是Denodo認為的最重要的五個趨勢,數據和分析實踐的其他領域也對數字業務在 2023 年及以后的生存和蓬勃發展有所影響。過去兩到三年的經驗明確告訴我們,線下模式也并非一直可行,因此數字業務并非后備選項,而是未來所在。