數據中臺與其存儲系統
一、什么是數據中臺?
最近幾年經常有人提到數據中臺這個詞,怎么理解?不同人可能有不同的看法,數據中臺總的來說是一套可持續“讓企業的數據用起來”的機制,一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方法論支撐,構建一套持續不斷把數據變成資產并服務于業務的機制。
通俗的來理解的話,數據中臺就是一個組織的公共服務產品或平臺,將數據加工封裝成一個公共的數據產品或者服務的邏輯概念,方便前臺業務或后臺研發的應用,它不同于一般的簡單大數據平臺或者數據倉庫。
二、數據中臺的價值
在過去幾年中,借著移動互聯網的紅利,許多公司都高速發展,進行大規模業務拓展,業務拓展的速度足夠快,對公司自然是好事,但是隨之而來的問題就是公司內部出現了大量的重復建設和資源浪費的現象。所以中臺不是憑空產生的,而是建立在業務之上,有些組織在發展過程中經常有不同的項目,需要重新搭建IT架構,造成資源浪費,搭建中臺系統完美解決重復搭建問題。換句話說數據中臺是在數據倉庫和大數據平臺的基礎上,從數據采集到分析到展現,將數據包裝成若干的數據API 服務,以更高效的方式提供給需求者。未處理的不能給業務帶來價值的原始數據不等于數據資產,如果沒有從業務的角度對數據進行規劃,再多的數據也無法產生價值。數據中臺的出現,就是為了彌補數據開發和應用開發之間,由于開發速度不匹配,出現的響應力跟不上的問題。
具體價值可從以下幾個方面來看:
1、快速應對業務對數據處理的需求和業務創新,形成核心壁壘;
2、豐富標簽數據,減低管理成本;
3、能體現業務系統效果而不僅是準確度;
4、支持跨主題域訪問數據;
5、數據可以快速復用和共享、但不僅僅是復制;
6、解決前臺和后臺的沖突,前臺對接用戶,后臺對接內部開發。企業的數據開發一般是跟不上應用的開發速度,更是跟不上業務的變化速度,這是一個不可調和的問題,而數據中臺通過構建數據體系,將其轉化為數據開發的能力,提升開發速度。
總結:數據中臺把業務生產資料轉變為數據生產力,同時數據生產力反哺業務,不斷迭代循環的閉環過程。數據驅動決策和運營,取之于業務,用之于業務。數據中臺把數據統一之后,會形成標準數據,再進行存儲,形成大數據資產層,進而為其服務對象提供高效服務。
三、數據中臺下的存儲基礎設施需求
就當前的情況來看,數據中臺在未來一段時間內仍會涵蓋數據倉庫,數據湖等存儲組件,包括結構化與非結構化數據。數據中臺如此有價值,支撐這個平臺的基礎設施也同樣重要,俗話說工欲善其事必先利其器,具有優秀的基礎架構才能夠讓用戶在未來的數據之路中越走越寬。數據中臺是建立在分布式計算平臺和存儲平臺之上的,理論上可以無限擴充平臺的計算和存儲能力。存儲方面具體需要從以下幾個方面來考慮:
1、擴展性需求
不僅需要購買行業標準的存儲設備,同時還要保證產品的擴展能力,隨著業務的增加,能夠根據需要進行擴展,能夠持續保證組織的需求,通過增加存儲節點設備來維持數據增長的容量和性能需求;
2、消除數據流動和遷移麻煩
數據中臺存儲系統必須滿足數據增長而不會受到任何其他系統約束的能力,能夠方便的數據遷移和流動;
3、拒絕數據孤島
為了能夠充分利用大數據的機會,組織必須能夠訪問所有的數據,要實現這一點,存儲平臺必須能夠滿足這個要求,消除那些傳統的存儲孤島,最好是一套存儲系統就能保存和管理所有的數據,完成所有需要的任務,而不是簡單的添加另一個存儲解決方案;
4、提供全局管理方式
一個集中的數據管理方式在大數據增長迅速的年代已經是不可行的了,單點故障的成本會很高,一個大數據存儲平臺必須能夠管理分布在不同機房甚至不同地域中的數據;
5、保護數據的可用性和可靠性
數據價值越來越重要,為了防止企業級的產品硬件發生故障或其他錯誤,存儲平臺必須通過智能軟件的保護措施來保證數據的可用性和完整性以及可靠性;
6、集成度高
數據來源廣泛與復雜,不同類型的數據訪問,處理和分析的方式不同,這就要求大數據時代下存儲系統的接口集成度要高,使大數據存儲系統能夠應對和兼容不同的數據需求;
7、自動化能力強
大數據使得數據量大幅增加以及數據處理流程,方式更加復雜,這給存儲系統的管理和維護提出了更高的要求,因此管理自動化也是衡量此數據存儲系統的重要指標;
8、彈性成本規劃
大數據并不意味著用戶必須要在基礎架構上一次性投入大額成本,具有彈性擴展的存儲系統能夠幫助用戶實現彈性成本,按需購買和擴容,讓不同層面的用戶都能在大數據浪潮中開展業務。
最后,個人覺得數據中臺的建設并不是每個組織所必須的,打個比方,就好比做某道菜,為了以后方便的做這道菜,事先把加工過的原料和調料都準備好,想吃的時候就可以迅速做出來,但如果吃這道菜的頻率很低,偶爾吃一次,可能就不需要事先都準備好了。所以當前臺和后臺對數據需求的變化頻率很低,而組織認為目前的系統架構能很好的支撐,也可以暫時不需要單獨建設數據中臺。