獲得計算冠軍,騰訊云發動大數據變革
在數據排序領域,往往呈現出顛覆性的提速,在前年百度奪冠時候,100TB排序的最短時間是716秒,更早前Hadoop的紀錄是4222秒。
Sort Benchmark在全球具有計算奧運會之稱,騰訊云的勝出,對于當前國內云計算市場、企業大數據應用究竟意味著什么?
技術準備:運算速度大幅提升,平臺投入不斷加強
關注大數據和計算機的小伙伴對Sort Benchmark并不會陌生。這家專門從事排序基準評估的非盈利機構,每年都會舉辦一次排序基準評估比賽,吸引了包括亞馬遜、Apache Spark、Hadoop、騰訊、百度在內的世界上大型網絡科技公司和***學術機構參賽,以評估各自軟硬件系統架構能力及***研究成果,可以說是全球計算界的***賽事。
Sort Benchmark的排序競賽一共包含4項比賽,其中Gray Sort和Minute Sort主要評測計算系統的規模和效率,在4項比賽中含金量***。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。騰訊云的數智分布式計算平臺,全部奪得上述4個子項的冠軍并創造了新的世界紀錄,大幅刷新了去年阿里云的成績。
排序競賽中,100TB數據的排序比賽的規則最簡單,也最能直觀地看出平臺的運算能力。100TB數據排序,就是把1萬億條無規律的100字節記錄,嚴格按照從小到大的順序排好。這直接考驗分布式系統中存儲、調度、通信等各個子系統的性能,反映一個平臺的整體計算能力。
在這場跑數據的奧運會上,騰訊云和阿里云是近年的新秀。這幾年來,騰訊云和阿里云都在倡導大數據計算,投入都十分巨大。在本次比賽中,騰訊云數智在架構和軟件方面下了十足的功夫,同時在硬件上投入512臺IBM的Open POWER服務器和邁絡思的100Gb互聯技術,可謂軟硬兼修。
市場變化:成也數據,敗也數據,云計算已成為剛需
現在的競爭,已經是數據的競爭,數據處理速度的背后,關系到業務洞察能力的高低。對云計算平臺來說,在Sort Benchmark上爭排名高低,不僅關乎平臺整體形象,更與業務的開展和效益的提升息息相關。一方面,沒了計算速度,云服務就成了空中樓閣、無本之木;另一方面,速度帶來的效益,遠不止我們想象的那么簡單,往往一秒之差,企業的經營結果就高下立判。
當下企業的經營,對大規模生產的依賴度已經有所降低,而對精準營銷和主動營銷的需求不斷強化。大數據分析水平的高低,在很大程度上決定企業的盈利能力。
依靠云計算和大數據,可以幫企業實現以前不可能實現的目標。首先,通過分析用戶行為信息對其精準畫像,開展差別化營銷,激發潛在消費,使營銷更加精準。其次,依靠大數據對各因素之間相關性的計算,進行用戶消費行為的預測,使營銷更加主動,貫徹“用戶終身價值管理”理念。***,也是最重要的,云計算可以幫助企業打造新的盈利模式,這類情況,在金融、快消等領域有很多案例。
比如,近兩年春節紅得發紫的微信和QQ的“紅包”,微信在2016年除夕經受住了1秒鐘收發40多萬個紅包的***流量沖擊,全球QQ用戶則在那天晚上“刷”了1894億次。
全民搶紅包的幕后,云計算是當之無愧的英雄。為保證紅包的正常收發,騰訊云在廣州和上海兩地的云機房上做了分流,設置了容災系統,開發列表系統用來處理用戶搶、拆、發、查紅包的數據,并整合DNS Pod輸出了跨域流量調度方案,這些技術在云計算行業史上都是***次。
除了讓微信和QQ經受了“紅包大戰”高峰值、大流量的考驗,騰訊云更是助力其成功打造了一個以紅包為紐帶的盈利模式,要知道,用戶使用紅包,一般就會綁定銀行卡,而綁定銀行卡之后,很多業務和盈利也就有了想象空間。
受益于云計算的不止微信和QQ。市場研究公司Gartner稱,公有云能為企業平均降下14%的成本。經過這幾年的市場啟蒙,企業對大數據作用的認識已經被喚醒,云服務逐漸取代了企業自建的服務系統,企業剛需不斷催生了大數據和云服務市場的開發。Gartner的數據顯示,全球公共云服務市場規模今年有望達到2040億美元,較2015年的1750億美元增長16.5%,而且這種兩位數的發展勢頭將會持續到2017年。
使用進展:數智讓企業數據真正跑起來
就目前來看, 大數據的收集已經不是難事。一方面,數據不一定要是文字和數字,圖片、聲音、視頻甚至地理位置等非結構化的信息都能被加以利用。另一方面,數據的獲取渠道已經無處不在,很多時候甚至不容易被人察覺。比如一些APP可以通過WIFI、射頻技術(RFID)和藍牙所獲取用戶位置信息。海量的數據不斷積累,并且在以幾何級數增長。
但是數據收集起來之后,又面臨一個問題,也是傳統IT一直沒有很好解決的一塊問題——企業數據的利用率很低。為了避免數據的浪費,騰訊云特地為企業開發了“數智分布式計算平臺”。數智包含3層46個產品組件,是在騰訊多年海量數據處理經驗之上,結合開源Hadoop生態和自研組件服務,對外提供的可靠、安全、易用的大數據處理平臺。為客戶提供了從采集、存儲、計算、挖掘到可視化的一站式數據處理服務。
此次創下Sort Benchmark四項新紀錄,可以看做是數智在國際大賽上的牛刀小試。國內實踐方面,在10億用戶畫像數據分析,量級約為10TB的count、sum和group計算中,數智平臺能夠將傳統Hadoop長達20分鐘的計算時長縮短到秒級,大數據處理速度提升高達780倍。數智在對微信每天160億級別的多維分析場景中,能夠做到6秒返回結果。
基于此,數智的應用領域已經在擴展。廣東省旅游部門通過數智,結合騰訊覆蓋全國10億的人群畫像能力,及日調用量超過400億騰訊位置大數據服務,成功地對景區進行實時客流量監控及預測,并推動了旅游產品服務的精準營銷。
數智的廣泛運用,也反映了騰訊在大數據上的步伐在加速。今年8月,騰訊云與大數據分析平臺廠商,永洪科技達成戰略合作,永洪科技旗下500多家合作伙伴、2000多家企業客戶(包括中國移動、中國電信、華為集團、中信銀行等)和4萬多個付費用戶將成為騰訊云進一步發展的基礎。此外,騰訊云和同程旅游、人民日報的合作正在扎實推進。
毫無疑問,云計算、大數據和人工智能將在多方面重塑企業的經營和管理,企業對數據存儲和利用的能力將成為核心競爭力。除了騰訊、阿里在布局大數據和云計算之外,通訊企業和其他諸多互聯網公司都紛紛卷入競爭,誰都不想錯過了這次技術革新的機會。
不管愿意還是不愿意,企業未來在互聯網上的業務成功將高度依賴云計算,這是行業趨勢,也是歷史的必然。