為大數(shù)據(jù)處理加速 ——BoCloud博云與TalkingData聯(lián)合打造DataCruiser高彈性大數(shù)據(jù)云平臺(tái)
5月19日,BoCloud博云與TalkingData在北京聯(lián)合發(fā)布DataCruiser高彈性大數(shù)據(jù)云平臺(tái),通過(guò)BoCloud云架構(gòu)與TalkingData大數(shù)據(jù)分析平臺(tái)的有機(jī)融合,提供完整的應(yīng)用容器和大數(shù)據(jù)計(jì)算相關(guān)的組件倉(cāng)庫(kù)和便捷的操作模式,使客戶在面對(duì)“互聯(lián)網(wǎng)+”時(shí)代爆炸性的數(shù)據(jù)處理業(yè)務(wù)時(shí),享受大數(shù)據(jù)分析帶來(lái)的精準(zhǔn)信息和云計(jì)算技術(shù)帶來(lái)的IT系統(tǒng)的高效運(yùn)行,降低企業(yè)在部署數(shù)據(jù)分析平臺(tái)的綜合成本,使云化部署金融大數(shù)據(jù)平臺(tái)的時(shí)間降低為原來(lái)的數(shù)十分之一;提高互聯(lián)網(wǎng)及移動(dòng)互聯(lián)網(wǎng)環(huán)境下高并發(fā)應(yīng)對(duì)能力,帶來(lái)更好的數(shù)據(jù)處理體驗(yàn),使金融大數(shù)據(jù)的處理能力通過(guò)彈性云至少提升10倍;通過(guò)云化架構(gòu),提供多租戶的大數(shù)據(jù)PaaS平臺(tái),幫助客戶避免內(nèi)部重復(fù)建設(shè),享受專業(yè)的平臺(tái)保障服務(wù)。
應(yīng)用容器技術(shù),為大數(shù)據(jù)部署加速
大數(shù)據(jù)時(shí)代,人們?cè)絹?lái)越清楚地意識(shí)到數(shù)據(jù)中蘊(yùn)藏的價(jià)值。海量數(shù)據(jù)的擁有者——銀行,電力,運(yùn)營(yíng)商,物流公司等等行業(yè)用戶都在積極地尋求方法利用手中的數(shù)據(jù)。然而大數(shù)據(jù)處理平臺(tái)配置和部署的繁瑣,以及組件相互依賴關(guān)系的復(fù)雜讓眾多企業(yè)望而卻步。針對(duì)這個(gè)突出的問(wèn)題, DataCruiser高彈性大數(shù)據(jù)云平臺(tái),向用戶提供簡(jiǎn)單快捷易部署的大數(shù)據(jù)加速和分析系統(tǒng),通過(guò)將云計(jì)算平臺(tái)與大數(shù)據(jù)處理平臺(tái)的整合,實(shí)現(xiàn)了大數(shù)據(jù)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、虛擬化和行業(yè)應(yīng)用融合的緊密集成。
平臺(tái)向用戶提供了完整的應(yīng)用容器和大數(shù)據(jù)計(jì)算相關(guān)的組件倉(cāng)庫(kù)和便捷的操作模式。
安裝大數(shù)據(jù)處理組件界面
基于簡(jiǎn)潔的界面交互方式,用戶僅需在主機(jī)角色中輸入對(duì)應(yīng)的服務(wù)器地址,整合平臺(tái)即可根據(jù)主機(jī)角色解析并生成大數(shù)據(jù)處理集群和上層應(yīng)用集群拓?fù)浣Y(jié)構(gòu),自動(dòng)地從組件倉(cāng)庫(kù)中分別拉取各個(gè)主機(jī)所需的組件并進(jìn)行對(duì)應(yīng)的安裝和環(huán)境的配置,部署完畢后自動(dòng)運(yùn)行各個(gè)功能組件。并且安裝過(guò)程中整合平臺(tái)根據(jù)安裝進(jìn)度向用戶呈現(xiàn)可視化的效果。
將大數(shù)據(jù)計(jì)算框架部署的復(fù)雜度從O(n)簡(jiǎn)化到O(1),極大地提高了大數(shù)據(jù)集群的部署效率。完全實(shí)現(xiàn)了“一鍵式”方式的大數(shù)據(jù)計(jì)算部署和運(yùn)行。
通過(guò)運(yùn)用***的容器技術(shù),平臺(tái)極大的降低了大數(shù)據(jù)處理框架部署和日常維護(hù)的復(fù)雜度,大幅降低了部署、運(yùn)行和維護(hù)的成本。與此同時(shí),通過(guò)將應(yīng)用系統(tǒng)的開發(fā)、測(cè)試、準(zhǔn)發(fā)布和生成四個(gè)部署環(huán)境統(tǒng)一化處理,減少了開發(fā)到上線的環(huán)節(jié),成倍提升了業(yè)務(wù)應(yīng)用的上線速度。
云化架構(gòu),讓大數(shù)據(jù)也能“彈”起來(lái)
當(dāng)前,眾多的傳統(tǒng)企業(yè)面臨著互聯(lián)網(wǎng)對(duì)傳統(tǒng)業(yè)務(wù)模式的沖擊,并且還面臨著業(yè)務(wù)從互聯(lián)網(wǎng)向移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展。這不但帶來(lái)了企業(yè)對(duì)數(shù)據(jù)分析需求的快速增長(zhǎng),同時(shí)也帶來(lái)了業(yè)務(wù)高峰時(shí)段與低谷時(shí)段數(shù)據(jù)不可預(yù)估的脈沖式涌動(dòng)對(duì)傳統(tǒng)IT架構(gòu)的沖擊問(wèn)題。
DataCruiser高彈性大數(shù)據(jù)云平臺(tái)通過(guò)將TalkingData強(qiáng)大的數(shù)據(jù)分析平臺(tái)與BoCloud博云的云平臺(tái)架構(gòu)進(jìn)行結(jié)合,構(gòu)建了包括基礎(chǔ)平臺(tái)層、資源存儲(chǔ)層、數(shù)據(jù)處理層和應(yīng)用容器層在內(nèi)的整合平臺(tái)系統(tǒng),進(jìn)行統(tǒng)一資源配置和全生命周期的管理——利用Docker容器化技術(shù),構(gòu)建服務(wù)集群、應(yīng)用集群和監(jiān)控集群,對(duì)物理資源進(jìn)行統(tǒng)一規(guī)劃,支持開發(fā),測(cè)試,集群,發(fā)布,部署,運(yùn)維不同階段的統(tǒng)一管理,為業(yè)務(wù)系統(tǒng)、運(yùn)維和應(yīng)用開發(fā)提供有力的底層支持,并使得大數(shù)據(jù)處理能力通過(guò)彈性云成倍的提升,幫助企業(yè)提高投入產(chǎn)出比,從而創(chuàng)造更多的商業(yè)價(jià)值。
多租戶PaaS平臺(tái),將大數(shù)據(jù)平臺(tái)的成本降下來(lái)
大數(shù)據(jù)的軟件專業(yè)化程度高,搭建一個(gè)可支持生產(chǎn)、可進(jìn)行性能調(diào)優(yōu)、能保證數(shù)據(jù)安全的大數(shù)據(jù)平臺(tái)不是一件簡(jiǎn)單的事情,需要IT開發(fā)人員具有豐富的經(jīng)驗(yàn)才有可能做好。這使得大數(shù)據(jù)分析的門檻居高不下,不但大數(shù)據(jù)人才非常緊缺,并且各個(gè)公司、甚至大型集團(tuán)中的不同部門為了搭建自己的大數(shù)據(jù)硬件、軟件平臺(tái),投入了大量的重復(fù)勞動(dòng),導(dǎo)致對(duì)自己的業(yè)務(wù)邏輯和分析算法的研發(fā)資源被擠占。
支撐人類社會(huì)高速發(fā)展的是人類專業(yè)化分工的能力。在有需求的地方,提供專業(yè)化的服務(wù),在創(chuàng)造商業(yè)價(jià)值的同時(shí),將能夠提升整個(gè)社會(huì)的運(yùn)行效率。這正是BoCloud博云和TalkingData這樣的技術(shù)性公司所不懈追求的。
我們將TalkingData的大數(shù)據(jù)處理框架集成到BoCloud博云的PaaS平臺(tái)上,包含了HDFS文件存儲(chǔ)系統(tǒng)、Yarn資源管理和Zookeeper協(xié)作處理、Kafka數(shù)據(jù)分發(fā)、Strom實(shí)時(shí)處理和MapReduce離線批處理部分,并提供用戶業(yè)務(wù)定制容器、TalkingData管理容器和第三方開源中間件容器,為客戶打造一個(gè)專業(yè)化的大數(shù)據(jù)PaaS平臺(tái),實(shí)現(xiàn)平臺(tái)與應(yīng)用的分離,從而使得大數(shù)據(jù)開發(fā)人員能夠?qū)⒂邢薜馁Y源投入到核心算法和應(yīng)用的開發(fā)中去。
BoCloud博云和TalkingData希望能夠切實(shí)幫助各類需要大數(shù)據(jù)分析的企業(yè),例如銀行、保險(xiǎn)、證券等金融行業(yè)企業(yè),通過(guò)使用DataCruiser高彈性大數(shù)據(jù)云平臺(tái)降低成本、提高效率,能夠更加專注于自身專業(yè)領(lǐng)域的能力開發(fā)和提升。