對話Gartner孫鑫:深度解讀數據中臺的技術與落地
當前,以大數據、人工智能、物聯網、云計算為代表的新一代信息技術蓬勃發展,推動著人類社會進入數字化時代。而作為這個時代重要的生產資料,數據已成為企業獲取競爭優勢的關鍵。
然而,盡管數據的價值得到了企業的廣泛認可,但是如何管理數據資產仍然缺少處理手段。基于此,“數據中臺”概念應運而生,即通過數據技術,對海量數據進行采集、計算、存儲、加工,同時統一標準和口徑。數據中臺將數據統一之后,會形成標準數據,再進行存儲,形成大數據資產層,進而為企業提供高效服務。
那么,數據中臺建設會面臨哪些挑戰?構建數據中臺需要哪些技術解決方案?數據中臺的未來演進方向是什么?帶著這些問題,比特網采訪到了Gartner研究總監孫鑫先生。作為專注于商業智能分析及數據科學領域的分析師,孫鑫為數據和分析領導者提供建議,幫助他們構建、落地、發展現代化商業智能平臺。
Gartner研究總監孫鑫先生
數據中臺建設如何避免踩坑?
如今,越來越多的企業已認識到數據的價值,開始探索數據中臺的建設,以數據驅動企業經營決策升級及業務提升。不過,企業的數據中臺建設并非易事,面臨著諸多問題,如企業不知需要采用何種技術方案來構建數據中臺、更不知在數據中臺建設過程中需要注意哪些問題。
對此,孫鑫指出,一個好的數據中臺產品應涉及數據目錄、數據虛擬化、自服務數據準備、批處理整合、數據復制、數據同步、流數據整合等方面的能力。
此外,在搭建數據中臺前,企業最需要注意的問題包括以下三方面:
一是要結合自身情況,評估整條數據端到端的產品能力鏈路上到底缺乏哪一部分。不能為了中臺而中臺,這與企業高管的價值定位息息相關。
二是要考慮如何更好地溝通業務。實際上,企業的數據是割裂的,很難被關聯或收集,最終會給企業所需的業務造成影響。問題根源不僅是技術和業務的產品能力差距,更多是價值的隔閡和鴻溝。如果企業計劃建設數據中臺,讓其真正產生價值,那就需要對數據中臺進行情境化設計,為業務產生相關的數據驅動能力。
三是要認識到數據中臺不僅是技術問題,更是組織戰略問題。一個成功的數據分析團隊除了具有關注規模經濟、確保企業數據一致性、分享最佳實踐的中央側數據分析團隊外,還需考慮搭建一個關注快速部署、貢獻業務側相關數據、產生業務報表的業務側數據分析團隊。因此,要搭建技術端的中臺,在“人”這一側、在組織架構這一側也要進行相應努力。
構建數據中臺加速數字化轉型
目前,受疫情影響,企業的數字化轉型浪潮變得愈發洶涌。隨之而來的是數據量越來越大、數據類型越來越豐富,數據結構也越來越復雜,這給企業數字化轉型帶來了不小阻礙。
“實際上,已經投入數據倉庫、數據湖建設的企業通常會面臨一個問題,即如何對已有數據進行投資,從而獲得價值。”孫鑫說道。
據悉,導致這種問題發生的原因主要有以下幾點,具體來看:
第一,企業雖已建設好數據資產——無論是數據倉庫還是數據湖,但業務部門依舊不知道數據放在哪里;
第二,企業將大量時間花費在尋找數據上,而不是分析數據上,這讓數據投入的投資回報率無法很好體現,因為企業只是在尋找,并沒有真正分析數據,讓其產生價值,從而幫助決策;
第三,企業過去津津樂道的數據資產并沒有通過良好的設計,讓業務側的用戶真正貢獻數據資產。
據孫鑫介紹,現在有非常多的元數據管理工具,可以通過自動化的采集方式,幫助企業搜索到更符合自身情境的數據、完成數據信息采集、自動調取企業內部的元數據,從而為企業展現完整信息資產。而智能搜索也是幫助企業快速尋找與自己相關的數據源,讓這些藏在各個系統中的數據能更直觀地遞送到用戶手中。
此外,企業的數據資產可能不再是由IT進行的一個單項目維護,而是由業務共同參與、以眾籌方式不斷演進優化企業的數據資產,在業務用戶之間有著非常良好的共享。通過這幾點,企業就可加速自身數字化轉型。
數據在安全的基礎上如何發揮更大價值?
2021年9月1日,《數據安全法》正式施行,那么數據中臺如何確保數據安全,讓其發揮更大的價值呢?
孫鑫認為,一個好的政策、好的治理平臺更多是一個可以“連接”的治理,可以幫助企業關聯所有數據的相關政策,從而確保企業安全地使用數據。現在一些數據中臺已具有類似的“安全模塊”或“治理模塊”,可幫助企業確保數據安全。但真正適用如《數據安全法》、《個人信息保護法》等法律法規,企業可能還需投入。
采訪最后,孫鑫分享了對于數據中臺未來演進方向的看法,他表示,中國企業的習慣性做法是只用收集的方式管理自己的數據源,但長此以往會延后業務產生價值的時間。其實,數據中臺對于數據管理而言,并非一定要用于連接或收集,而是需要企業掌握平衡。數據中臺可根據元數據,即數據消費行為,來判斷數據源到底用采集好、還是連接好,通過元數據找到數據消費行為后對其進行資產化處理。因此,好的未來中臺演進方向是把握好數據采集和連接的平衡。
寫在最后:
毫無疑問,數據中臺已成為企業運營管理的重要工具。相信,隨著技術的不斷成熟,企業數據中臺的建設將變得更加完善,企業的數字化轉型之路將變得更加平坦。