云遷移對數據資產的負面影響
?當下正處于數據向云端大規模遷移過程中,很大程度上是因為先進分析和人工智能的需要以及它們所能帶來的競爭優勢所驅動。然而,在獲得這種大數據回報之前,公司必須有效地管理他們在云中的爆炸性數據資產,這就是事情變得有趣的地方,根據Capital One委托的一份新的Forrester報告,該公司在云遷移戰爭中也有自己的瘡疤。
Forrester特咨詢公司的新報告中有幾個有趣的花絮,該報告的標題是“新的數據管理模型對在云中運營至關重要”,它基于對北美157名數據決策者的調查。
對于初學者來說,云計算之旅在大多數商店中仍處于萌芽階段。盡管公共云發展迅速,但近75%的數據決策者告訴Forrester,他們還沒有開始在云上管理公司的大部分數據。
超過半數的受訪公司(56%)告訴Forrester,他們正在以一種集中的方式管理數據,這需要使用數據集成和ETL工具將所有數據整合到一個數據豎井中。報告稱,19%的人表示他們經營著一個去中心化的數據商店。
過去,大多數公司都使用單一的數據管理工具供應商來滿足他們的大部分數據管理需求。今天,這種情況在很大程度上仍然存在。但Forrester稱,未來24個月,使用多個數據管理供應商來滿足多種數據需求的公司數量預計將激增至近40%。
另一個數據障礙是:數據很混亂(對大多數數據應用來說,這并不奇怪)。Forrester的報告指出了普遍存在的數據質量差、缺乏數據編目、難以理解數據以及缺乏數據可觀察性的例子。
每個公司都希望擁有一個治理良好的數據資產,但現實以某種方式干預了這一過程,結果是大多數公司在這個部門舉步維艱。Forrester報告稱,82%的受訪者表示,他們的數據治理政策令人困惑,80%的受訪者難以大規模管理數據,并因缺乏權利和基于角色的數據訪問而遭受損失。
成本也是有效管理云數據資產的一大障礙。Forrester說,參與調查的人中有82%認為預測和控制成本是一項挑戰。報告稱:“曾經精心規劃和預算的辦公場所現在變得不可預測。”
最后,由于缺乏合適的人才和技能,企業無法充分利用其云數據資產。
Capital One之前在內部數據中心運行了一個Teradata數據倉庫,其中包含大約500 TB的數據。該公司在2020年關閉了最后一個預部署數據中心,現在依靠AWS和Snowflake云來運行其50 PB數據湖/數據倉庫,價值約4200億美元的資產。
有成千上萬的用戶運行數百萬次查詢,企業想要一個數據平臺,可以擴展到滿足業務需求。但這種無限的能力和無限的計算的結果是,可以很容易地產生數據混亂。如果在提供數據平臺的方式上沒有適當的管理和適當的成本控制措施,最終可能會揮霍掉所有的信用。
Capital One沒有向軟件供應商尋求解決方案,而是在公司內部處理了這個問題。它開發了自己的自助服務工具,允許業務人員管理自己的數據,并在需要時提供計算資源,同時通過內置在軟件中的“護欄”來堅持成本控制和數據治理要求。
Capital One認為自己開發的軟件足夠好,現在甚至可以拿來銷售。因此在6月,Capital One在Snowflake平臺推出了第一套數據管理工具,名為Slingshot。
Slingshot的客戶會喜歡使用單一的、集成的套件以數據網格類型的方式管理Snowflake信息,而不是在一群不同的工具之間切換。
數據管理行業不需要顛覆,但它需要簡化。可能有數百家公司擁有垂直的數據管理解決方案——一個解決方案處理目錄,一個譜系,一個數據質量,然后有數據加載工具,數據轉換工具。Capital One遵循數據網格原則來管理其云數據資產和新的壓縮軟件業務。
云在很大程度上解決了硬件伸縮性問題,為所有實際用途提供了無限的基礎設施。云中的托管服務的可用性也讓客戶擺脫了軟件和應用程序框架維護業務,這是另一個巨大的優勢。
正如Forrester的報告所顯示的那樣,隨著這些實現規模化的障礙被消除,客戶大量涌入云計算,圍繞數據管理和治理的新挑戰也出現了,該行業仍在努力應對這些挑戰。capital One提出的解決方案沒有采用舊的自上而下的方法,即重新集中數據并取消自助服務,而是圍繞著利用數據,使數據保持去中心化,同時使用一組通用的工具和政策,這在?今天被稱為數據網格。