Cloudera:擁抱云計算,深耕企業數據云平臺
原創【51CTO.com原創稿件】數據湖、數據倉庫、數據中臺……隨著大數據技術的不斷更新迭代,相關概念如雨后春筍般應運而生。對于這些概念,已經有了無數篇文章去科普,可以簡單的總結如下:
數據湖是一個集中的存儲庫,可以在其中存儲超大規模的、所有結構化和非結構化數據。在數據湖中,不需要對數據在存儲時進行模式化,就可以運行不同類型的分析。
數據倉庫也稱為企業數據倉庫,是一種數據存儲系統,可以將不同來源的結構化數據聚合起來,用于業務智能領域的比較和分析。數據倉庫是包含多種數據的存儲庫,并且是高度建模的。
數據中臺是一個承接技術,引領業務,構建規范定義的、全域可連接萃取的、智慧的數據處理平臺,目的是為了高效滿足前臺數據分析和應用的需求。數據中臺距離業務更近,能更快速的響應業務和應用開發的需求,可追溯,更精準。
CDP:做好數據治理這件事
從定義來看,可以說數據湖、數據倉庫、數據中臺三者并不是非此即彼的關系。在Cloudera大中華區技術總監劉隸放看來,三者是融為一體的。
Cloudera大中華區技術總監劉隸放
他認為,數據中臺的本質是數據治理。“我們特別喜歡‘數據中臺’這個概念,它讓用戶開始重視數據治理,而不再是把數據往你面前一扔了事。數據湖同樣非常重要,它的理論是把數據從外邊‘撈’進庫里,它是原生態的。” Cloudera就具備了極強的數據治理能力。劉隸放表示,做好數據治理,一是要求產品要有思想方法論,二是產品要有能力。客戶還會構建一個業務中臺,通過“業務元數據”映射到“技術元數據“,進而加以治理。當今很多用戶做大數據平臺上的“數據中臺”時,都會來找Cloudera合作,因為其CDP平臺上有源數據治理的工具,能夠加速客戶做數據治理的工作。CDP(Cloudera Data Platform )就是2018年Cloudera與Hortonworks合并之后發布的首款新產品。
“先有Hadoop,后有大數據”,作為Hadoop的代表,規模最大、知名度最高的公司Cloudera紅極一時。2014年,Cloudera引入到中國,提供的主要產品就是基于開源Hadoop集群的各種組件和服務。Hortonworks也是企業級全球數據管理平臺,為100強企業中的一多半提供“任何類型數據”的可操作信息。2018年,二者宣布合并,融合推出了新產品CDP,而CDH,HDP成為了 Cloudera 的既有產品。同時,Cloudera 的許可證模式變更,不再提供所有產品的免費下載,遺留的 CDH,HDP的所有版本最晚明年初將不再提供支持,且不會再有新功能更新。
據了解,新版的CDP將能更好地適用于云環境,用戶可以借助它管理、分析從本地到公有云、私有云、混合云環境中的數據。同時,CDH中許多安全漏洞補丁都無法基于CDH5的版本進行修復,因為CDH依賴的某些第三方庫已經無法在當前版本維護,只有完成向新版本的CDP升級,才可以避開CVE安全漏洞。此外,相對于Cloudera和Hortonworks二者原來的產品CDH和HDP,CDP平臺整合了兩個平臺的最強功能,并增加了新特性,帶來了大量的性能和功能改進,如:Spark3在某些場景下將數據加工的性能提升5倍;HWC使得細粒度控制Spark的權限成為現實;Hive on Tez取代了Hive on MapReduce來提升查詢性能;Impala使得性能提升2-7倍;運營數據庫支持SQL和No SQL模式,同時吞吐量性能提高了15-20%等。
開源且收費
在CDP發布之前,Cloudera的 Hadoop版本CDH,Hortonworks的HDP,均提供社區免費版本。Cloudera通過企業版及商業化服務獲得收入,其企業版包括一些不開源的管理工具。而從CDP開始,Cloudera采用100%開源策略,采用類似紅帽的訂閱收費的策略,用戶付費就可以獲得CDP的開源代碼以及服務,不再提供免費下載版本。
劉隸放表示,“開源”和“收費”并不矛盾。“Cloudera就承諾一件事情:所有的組件,一定在開源上是正支的,您在Cloudera的代碼中看到的一定是開源中正支里的代碼。Cloudera的所有代碼是從GitHub直接拿過來,沒有修改,但是在不停演進的。”也就是說,CDP作為開源Hadoop生態的代表,其組件都是開源的,但將這些組件整合、調試成穩定的發行版CDP,并且提供一系列服務之后,CDP是收費的。“我們永遠會使用開源版本,Cloudera是一家開源軟件公司”。
加大對總代和ISV的投入
關于生態建設,Cloudera 大中華區區域副總裁王剛表示,Cloudera將加大對總代的投入,希望能通過總代的網絡覆蓋到全國,幫助Cloudera發展 “西南、西北”地區。此外,Cloudera還希望加大有CDP能力認證的代理商。對于ISV,王剛表示,明年會重點投入去做一些不同行業垂直的ISV,如汽車、金融等不同領域。將ISV的行業經驗與Cloudera平臺技術的領先性相結合,為客戶提供一整套的方案。
Cloudera 大中華區區域副總裁王剛
Cloudera在國內推出了阿里云上的IaaS版本,使得國內的用戶可以使用阿里云版本進行驗證和遷移。Cloudera與阿里云也有一些戰略合作,會與阿里云一起去拜訪客戶、解決客戶的問題,提供售后服務等。
結語
企業正在不斷加碼對數字化的投入。CDP讓企業IT人員能夠在任何云環境中進行數據分析,同時提供多種數據安全功能,從而最大程度降低數據風險。Cloudera將依靠CDP及生態的力量,助力企業釋放更多數據價值。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】