8月31日，在剛剛出版的《騰訊大數(shù)據(jù)構(gòu)建之道》新書(shū)中，騰訊首次對(duì)外披露了自身大數(shù)據(jù)核心技術(shù)體系架構(gòu)和海量業(yè)務(wù)應(yīng)用實(shí)踐。作為國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域的一部前沿技術(shù)著作，該書(shū)匯集了騰訊在大數(shù)據(jù)領(lǐng)域幾十位技術(shù)專(zhuān)家的思考和實(shí)戰(zhàn)精髓，通過(guò)全面剖析自身在大數(shù)據(jù)領(lǐng)域的探索以及落地，為國(guó)內(nèi)大數(shù)據(jù)從業(yè)者提供了一份極具價(jià)值的參考文獻(xiàn)。

騰訊公司副總裁蔣杰表示：“從第一代的離線(xiàn)計(jì)算到以隱私計(jì)算、數(shù)智融合、云原生為代表的第四代大數(shù)據(jù)技術(shù)，騰訊大數(shù)據(jù)團(tuán)隊(duì)不斷基于內(nèi)部海量業(yè)務(wù)實(shí)踐，打造領(lǐng)先的技術(shù)和產(chǎn)品服務(wù)內(nèi)外部眾多客戶(hù)。未來(lái)，騰訊還將通過(guò)騰訊云持續(xù)開(kāi)放自身在大數(shù)據(jù)領(lǐng)域的技術(shù)和經(jīng)驗(yàn)，攜手合作伙伴，為各行各業(yè)客戶(hù)創(chuàng)造價(jià)值，加速推進(jìn)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)的融合發(fā)展。”

《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》提出，當(dāng)前數(shù)據(jù)已成為重要的生產(chǎn)要素，大數(shù)據(jù)產(chǎn)業(yè)作為激活數(shù)據(jù)要素潛能的關(guān)鍵支撐，是加快經(jīng)濟(jì)社會(huì)發(fā)展質(zhì)量變革、效率變革、動(dòng)力變革的重要引擎。此次騰訊推出的《騰訊大數(shù)據(jù)構(gòu)建之道》，系統(tǒng)性復(fù)盤(pán)了大數(shù)據(jù)技術(shù)在騰訊內(nèi)部的應(yīng)用發(fā)展與演進(jìn)，對(duì)促進(jìn)國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)的共同進(jìn)步具有積極意義。

據(jù)悉，該書(shū)由騰訊數(shù)據(jù)平臺(tái)部與機(jī)械工業(yè)出版社合作出品，內(nèi)容總體分為兩大部分：第一部分，主要講述了騰訊大數(shù)據(jù)平臺(tái)的技術(shù)體系；第二部分，主要講述了騰訊大數(shù)據(jù)通過(guò)騰訊云對(duì)外開(kāi)放的一系列產(chǎn)品。

在第一部分，騰訊大數(shù)據(jù)團(tuán)隊(duì)從自身平臺(tái)的發(fā)展歷程和總體架構(gòu)切入，深入介紹了各項(xiàng)技術(shù)原理，闡述了實(shí)戰(zhàn)過(guò)程中的挑戰(zhàn)和自研核心技術(shù)的設(shè)計(jì)思想。內(nèi)容覆蓋了大數(shù)據(jù)接入、計(jì)算、存儲(chǔ)、分析、調(diào)度等大量技術(shù)組件的整體架構(gòu)和應(yīng)用展示，當(dāng)中不乏數(shù)據(jù)實(shí)時(shí)采集TDBank、下一代大數(shù)據(jù)分布式存儲(chǔ)Ozone、高性能的大數(shù)據(jù)SQL引擎SuperSQL、自主研發(fā)的高性能分布式機(jī)器學(xué)習(xí)平臺(tái)Angel等多個(gè)重量級(jí)產(chǎn)品的詳細(xì)剖析。

以分布式計(jì)算為例，書(shū)中詳細(xì)介紹了SuperSQL的關(guān)鍵技術(shù)，以及在OLAP 數(shù)據(jù)分析、跨數(shù)據(jù)中心查詢(xún)優(yōu)化等多個(gè)場(chǎng)景中的應(yīng)用細(xì)節(jié)。作為騰訊大數(shù)據(jù)自研的跨數(shù)據(jù)源、跨數(shù)據(jù)中心、跨計(jì)算引擎的的高性能大數(shù)據(jù)SQL引擎，SuperSQL致力于優(yōu)化集群資源的使用，提升使用業(yè)務(wù)數(shù)據(jù)的效率，并幫助解決業(yè)務(wù)數(shù)據(jù)孤島問(wèn)題。目前，SuperSQL 在騰訊內(nèi)網(wǎng)及外部客戶(hù)均已部署使用，對(duì)接多個(gè)跨數(shù)據(jù)中心集群，每個(gè)集群規(guī)模達(dá)數(shù)百臺(tái)機(jī)器。

圖：騰訊SuperSQL系統(tǒng)架構(gòu) 

在第二部分，大數(shù)據(jù)團(tuán)隊(duì)主要介紹了騰訊在數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用、機(jī)器學(xué)習(xí)等方面的建設(shè)經(jīng)驗(yàn)，并對(duì)騰訊大數(shù)據(jù)產(chǎn)品及其在內(nèi)外部場(chǎng)景的實(shí)踐落地進(jìn)行了解讀。以騰訊自研機(jī)器學(xué)習(xí)平臺(tái)Angel為例，其功能涵蓋傳統(tǒng)機(jī)器學(xué)習(xí)、圖挖掘、圖學(xué)習(xí)、深度學(xué)習(xí)和隱私計(jì)算等，是國(guó)內(nèi)第一個(gè)在全球頂級(jí)AI開(kāi)源基金會(huì)——LF AI基金會(huì)畢業(yè)的頂級(jí)項(xiàng)目。自 2017 年開(kāi)源后，已被華為、小米、OPPO等一百多個(gè)公司和組織使用。在本書(shū)中，騰訊大數(shù)據(jù)團(tuán)隊(duì)對(duì)其系統(tǒng)架構(gòu)、運(yùn)行架構(gòu)以及功能特性進(jìn)行了逐層剖析，能有效幫助讀者建立起相關(guān)的深度認(rèn)知和理解。

而針對(duì)行業(yè)人群在大數(shù)據(jù)運(yùn)營(yíng)方面的廣泛痛點(diǎn)，本書(shū)還從大數(shù)據(jù)平臺(tái)規(guī)劃、平臺(tái)治理、 運(yùn)維體系構(gòu)建、運(yùn)營(yíng)成本優(yōu)化、數(shù)據(jù)資產(chǎn)管理等方面系統(tǒng)性地介紹了騰訊積累的經(jīng)驗(yàn)。 也是在伴隨海量數(shù)據(jù)業(yè)務(wù)爆發(fā)式增長(zhǎng)過(guò)程中，以數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)，實(shí)現(xiàn)平臺(tái)高度自治為目標(biāo)的不斷探索的成果，為有大數(shù)據(jù)平臺(tái)構(gòu)建和運(yùn)維需求的企業(yè)和團(tuán)隊(duì)提供了實(shí)用的直接參考。

圖：騰訊大數(shù)據(jù)運(yùn)營(yíng)分析及應(yīng)用體系架構(gòu)

在剛剛召開(kāi)的首屆騰訊云大數(shù)據(jù)峰會(huì)上，騰訊云副總裁劉煜宏透露，目前騰訊云的大數(shù)據(jù)平臺(tái)算力規(guī)模已經(jīng)突破千萬(wàn)核，日實(shí)時(shí)計(jì)算量達(dá)百萬(wàn)億級(jí)、日運(yùn)行容器數(shù)超億級(jí)，日計(jì)算數(shù)據(jù)量數(shù)百PB，服務(wù)的企業(yè)客戶(hù)數(shù)超2萬(wàn)家，開(kāi)源社區(qū)代碼貢獻(xiàn)量超800萬(wàn)行，進(jìn)一步呈現(xiàn)了騰訊在大數(shù)據(jù)領(lǐng)域的頂級(jí)實(shí)力。