今年的雙11，相信大家對上面央視新聞圖片中的數(shù)字大屏不會陌生了，除了媒體之外，在阿里巴巴西溪園區(qū)的媒體報告廳、指揮部等“要地”都有它的身影。當天，這一大屏在全球400多家媒體前面驚艷出場，并***謝幕。

阿里巴巴數(shù)據(jù)技術與產(chǎn)品部的實時數(shù)據(jù)公共層團隊承擔了這背后的實時數(shù)據(jù)計算的工作，不僅做到了后臺數(shù)據(jù)全天24小時不間斷，而且保證了數(shù)據(jù)的準確性。

實時的后臺數(shù)據(jù)不僅用在全球媒體大屏，阿里巴巴生意參謀的商家數(shù)據(jù)實時直播、天貓賽馬的實時數(shù)據(jù)、廣告投放系統(tǒng)的實時數(shù)據(jù)都來自實時數(shù)據(jù)公共層。

那么，什么是數(shù)據(jù)公共層，而實時數(shù)據(jù)公共層又是什么呢？

數(shù)據(jù)公共層，是阿里巴巴服務于全集團的基礎數(shù)據(jù)中心，由數(shù)據(jù)技術與產(chǎn)品部承建。數(shù)據(jù)公共層分為離線數(shù)據(jù)公共層和實時數(shù)據(jù)公共層。離線數(shù)據(jù)公共層即傳統(tǒng)的數(shù)據(jù)倉庫ODS層和DW層，而實時數(shù)據(jù)公共層顧名思義，可以理解成經(jīng)過清洗和加工后的“實時”基礎數(shù)據(jù)。

實時數(shù)據(jù)公共層的架構如下：

??

實時數(shù)據(jù)公共層有如下特征：

1高性能和可擴展性

實時計算的核心是基于Storm的實時計算引擎Galaxy和實時調(diào)度引擎Gallardo，系統(tǒng)的架構可以高性能、橫向線性擴展。目前實時公共層主備計算集群的機器數(shù)量已接近2千臺。從2012年開始，實時公共層團隊經(jīng)過近3年的技術積累，積累了豐富的實時計算性能優(yōu)化經(jīng)驗。本次雙11全天訂單創(chuàng)建及支付過程有近60億的變更量， 0點瞬時訂單量超過每秒7萬筆，全天日志量更是達到數(shù)百億之多，數(shù)百個實時應用均能秒級響應。

2高可用性和SLA服務保障

為了保障服務的高可用性，實時數(shù)據(jù)公共層在各個環(huán)節(jié)都做了容災備份。如數(shù)據(jù)源層面，除了TT提供服務外，還接入了MetaQ數(shù)據(jù)源，兩個數(shù)據(jù)源都可以提供交易訂單數(shù)據(jù)；在數(shù)據(jù)計算層面，實時計算平臺Galaxy和HBase都有多套獨立提供服務。為了配合容災，OpenAPI可以做到5秒內(nèi)完成接口切換，對整個前端應用透明，使整個后臺數(shù)據(jù)服務做到高可用。

3平衡高精度和高吞吐量

實時數(shù)據(jù)有兩大主要業(yè)務，交易和日志。交易數(shù)據(jù)要求高精度，在盡可能的情況下每一筆訂單數(shù)據(jù)都不能遺漏；而日志數(shù)據(jù)則要求高吞吐量，允許一定范圍內(nèi)的數(shù)據(jù)誤差。因此，在這兩種不同的業(yè)務場景，公共層使用了不同的計算方式。在計算交易數(shù)據(jù)時，每一條消息都帶有事務ID，在消息接收、消費的過程中需要對事務ID進行校驗，一旦發(fā)生消息丟失可以請求數(shù)據(jù)源重發(fā)消息；而在計算日志數(shù)據(jù)時，利用了Bloom Filter特性，犧牲了精確度以換取時間和空間。

4OneData和OneService

由于阿里巴巴集團的業(yè)務繁多，對數(shù)據(jù)分析的需求量極其龐大，因此，阿里巴巴的數(shù)據(jù)公共層團隊致力于建設一個基礎的、公共的核心數(shù)據(jù)層，這里所有的數(shù)據(jù)都是經(jīng)過OneData指標規(guī)范化和數(shù)據(jù)建模的，通過統(tǒng)一的數(shù)據(jù)服務OneService對集團的內(nèi)外數(shù)據(jù)產(chǎn)品提供服務，從根本上避免了數(shù)據(jù)使用過程中指標定義不一致、重復建設等諸多問題。在實時數(shù)據(jù)公共層的建設過程中，通過對集團的實時交易、日志數(shù)據(jù)進行DWD建模，最終上線了100多個實時接口就服務了17個不同的團隊，OneService接口每日調(diào)用次數(shù)接近1.5億次，通過這項工作下線的重復計算任務直接節(jié)省的計算資源超過230萬元。

作者簡介：

羅金鵬，阿里巴巴集團數(shù)據(jù)技術與產(chǎn)品部高級技術專家，負責集團實時數(shù)據(jù)公共層和淘寶網(wǎng)數(shù)據(jù)公共層、應用層建設。

殷霞，阿里巴巴集團數(shù)據(jù)技術與產(chǎn)品部技術專家，負責集團實時數(shù)據(jù)公共層建設，熟悉實時計算Storm架構和Hadoop、Hive、HBase等多項技術。