【大咖來了 第5期】如何建設大數據中臺
原創本期出席《大咖來了》直播欄目的嘉賓是易觀CTO郭煒,進行了主題為《如何建設大數據中臺》的分享,主要涉及三方面:為什么要建立大數據中臺,技術大數據中臺建立參考模式與思考,及在大中臺,小前臺場景下技術人員該做些什么。
為什么要建立大數據中臺
現在乃至未來,絕大部分企業會陸續成為數據企業,數字用戶資產會成為這些企業的核心資產,人工智能、大數據等前沿技術也將會成為基礎設施,促進每個企業的業務用戶、業務線快速增長。其實,大數據中臺就是企業從傳統信息化到數字化演進過程中的必然產物。
中臺是技術人員從后臺走向前臺的過渡階段,為什么這樣說?如下圖所示,以投資銀行舉例。
如把投資銀行對前臺、中臺、后臺的定義映射到互聯網或系統,可以簡單理解為前臺是賺錢的、后臺是做支持賺錢的,而中臺是支持更快賺錢的。建設大數據中臺的本質在于把過去在后臺的工作挪到中臺,進一步支持前臺更高效的做數據分析。
大數據平臺風行,為什么又需要建設大數據中臺呢?這是因為建設大數據平臺時有各種各樣的痛點,這里主要介紹如下三點:
-
大數據項目啟動難:大數據平臺建設周期長,成本高、人員互聯網運營經驗不足。
-
大數據項目效果體現難:大數據如何解決互聯網運營問題、大數據系統建設結果是更多的BI報表、大數據建設ROI無法衡量。
-
大數據項目執行難:數據源紛繁復雜、原有系統涉及到多部門協調溝通、以及數據治理問題。
整個大數據平臺依次從數據接入、計算、分析、運營,每一層都有各種各樣的模塊具體運作流程,如下圖。
面對這樣一個典型的大數據平臺結構,怎樣做才能提高效率呢?這里有以下五點思考。 讓業務還給業務,盡可能避免業務人員等待技術反饋需求單這樣耗時的流程。 做到實時數據分析,滿足運營人員的需求。 能夠更好支持人工智能或增強智能所涵蓋的流行算法。 數據治理要在業務端進行,而不是在技術端進行梳理。 讓業務人員、數據科學家直接看到反饋,而不是傳統軟件加工方式。 從大數據平臺到數據中臺是一次從技術到業務的飛躍,過去我們只看技術,到中臺時期,是從業務端看技術。 大數據中臺大致可分為大中臺和深中臺兩種模式,如下圖。 類BAT的大數據中臺稱之為大中臺,是更廣泛的數據中臺,底層布設LaaS 、PaaS,各個業務線在基礎之上進行二次開發。但對于小廠而言,并沒有那么多人力開發通用中臺去支撐各個業務線,只能是各業務線圍繞自身需求進行開發,這種情況被稱之為深中臺。 說到深中臺模式,這里需要提及的是數據河理論。那什么是數據河理論呢? 數據河理論是相對于數據湖而來,數據湖是把過去各渠道的所有數據集中到一起,為相關計算提供便捷,但久而久之,會慢慢變成數據沼澤,數據運營越來越難。 數據河的出現是為了方便數據運營,使得失去數據口徑和失去數據治理的數據越來越少。數據河中流淌著的是單一數據模型,數據產生直接實時流向使用者,不同的數據河,支撐起企業內部數據水生態。 深中臺模式其實也是數據河模式,讓數據直接流動起來。數據河這個抽象的概念可以落實到IOTA架構,如下圖。 IOTA是典型的去ETL化深中臺架構,有固定數據模型、在數據產生時規整原子口徑,把業務口徑交還給業務人員,且支持邊緣計算與即時反饋。 如下圖,為易觀ARGO-免費用戶數據中臺樣例的結構 在這個易觀ARGO-免費用戶數據中臺樣例中,對免費&非核心部分進行開源,支持私有化部署、用戶賬號跨端打通、實時復雜計算和下鉆分析、二次開發。 和IOTA架構一樣,也是在數據產生時有技術人員規整原子口徑,通過自定義指標實時查詢,把業務口徑交還給業務人員。 大家會有疑問,數據中臺盛行,從事數據相關崗位的人,如大數據工程師、數據分析師等他們的風向在哪里? 數據中臺的出現,實現人員的技術業務結合與飛躍,讓數據技術人員不僅增加數據技術廣度,還加強了對前臺業務理解,成為跨領域的“龍”式新物種—數據中臺工程師。數據中臺工程師必備基礎技能主要有三,分別是:商業模式、流量模式和數據分析體系。 商業模式包含注意力運營、交易類運營和效益類運營。注意力運營,這類產品都是試圖最大化用戶在產品上花費的時間,如媒體、游戲以及任何通過廣告變現的產品。關注指標是粘性,如UV、PV、訪問時長、訪問頻次、用戶到訪周期、訪問間隔等。交易類運營,這類產品幫助用戶做出購買決定,如:電子商務平臺、各種交易平臺、生活服務、SaaS等。關注指標是交易、交易活躍度,如新商品比例、商品被搜索比例、GMV、ARPU。效率類運營,這類產品幫助用戶創建了一種簡單可靠的方式來完成現有的任務或工作流程,如:工具類、B2B等。關注指標是用戶使用深度指標,如用戶完成一次工作流的數量、用戶完成一次工作流的時間。 如下圖,為數據中臺工程師必備技能之流量模式。 當我們分析某個網站時,可以遵循此圖,橫軸是變現能力,縱軸是導流能力,存在各種不同的角色。一般來講,金融類變現能力強,玩類導流能力強,出行類導流能力強。 如下圖,為數據中臺工程師必備技能之數據分析體系。 每一個產品從開始MVP驗證有效、獲取種子用戶、提升產品質量、提升用戶體驗、拉新獲客實現營收,及規模化實現利潤最大化,在每個階段,都需要進行分析,如用戶分析,參與度分析,渠道分析,構成分析,收入分析等。 而每個階段都要需要一套分析體系,對業務進行研究,所以技術人員需要補充數據分析能力和數據分析體系相關知識。 在新數據中臺情況下,迭代驗證周期是數小時到數天的迭代周期,技術人員只需要建立原子口徑,由業務人員做實時業務數據分析,支持業務分析。 建設數據中臺前需要思考這幾步驟:第一是和技術/業務主管商議是否真的需要中臺;第二是中臺模式選擇,是深中臺還是淺中臺;第三是數據中臺選擇,無論做哪種選擇最終的結果一定是讓業務人員可以直接進行相關數據分析,把業務還給業務,讓技術做技術;第四是人員和思路的變革。
技術大數據中臺建立參考模式與思考
在大中臺,小前臺場景下技術人員該做些什么