每天50TB 淘寶海量數(shù)據(jù)輕松漫游記
導(dǎo)語(yǔ):隨著網(wǎng)絡(luò)的普遍化,淘寶成了人們生活中不可缺少的一部分,淘寶實(shí)現(xiàn)了足不出戶就可以買到所有需要的東西的狀態(tài),在電子商務(wù)領(lǐng)域,淘寶可謂是一支奇葩。它創(chuàng)造了中國(guó)***的電子商務(wù)網(wǎng)站,形成了一個(gè)包括買家、買家、物流、金融、廣告、搜索在內(nèi)的商業(yè)生態(tài)系統(tǒng)。據(jù)了解,淘寶目前每天的活躍數(shù)據(jù)量已經(jīng)超過(guò)50TB,共有4億條產(chǎn)品訊息和2億多名注冊(cè)用戶在上面活動(dòng),每天超過(guò)4000萬(wàn)人次訪問(wèn)。如此巨大的數(shù)據(jù)訪問(wèn)量,使得淘寶數(shù)據(jù)倉(cāng)庫(kù)成為國(guó)內(nèi)最忙碌的數(shù)據(jù)倉(cāng)庫(kù)之一。每天大約要處理幾億次的用戶行為。那么,淘寶是如何建立和管理自己的數(shù)據(jù)倉(cāng)庫(kù),保證其高效、安全地運(yùn)行和管理的呢?在北京oracle全球大會(huì)上,記者訪問(wèn)了淘寶網(wǎng)技術(shù)開(kāi)發(fā)部高級(jí)數(shù)據(jù)庫(kù)專家江楓,詳細(xì)了解了在oracle數(shù)據(jù)庫(kù)和Oracle RAC產(chǎn)品基礎(chǔ)上,淘寶是如何構(gòu)建自己的數(shù)據(jù)倉(cāng)庫(kù)奇跡的過(guò)程。
據(jù)江楓介紹,淘寶所有的商業(yè)數(shù)據(jù)基本上都是匯集到數(shù)據(jù)倉(cāng)庫(kù)來(lái)集中,然后進(jìn)行運(yùn)算,最終會(huì)根據(jù)不同的BI模型,得出不同的結(jié)果。通過(guò)對(duì)各種訪問(wèn)、交易、商鋪信息以及客服信息等的綜合處理,形成反映各種瀏覽、交易和用戶行為、行業(yè)銷售趨勢(shì)方面的統(tǒng)計(jì)數(shù)據(jù),可以給整個(gè)公司的決策提供數(shù)據(jù)方面的支持。因此,淘寶的數(shù)據(jù)庫(kù)系統(tǒng)對(duì)整個(gè)公司來(lái)說(shuō),是至關(guān)重要的。同時(shí),江楓也表示,淘寶的數(shù)據(jù)除了給公司內(nèi)部用以外,也有提供給外部用戶的。比如說(shuō)淘寶2010年做的數(shù)據(jù)魔方產(chǎn)品,就是給淘寶的賣家提供商品的銷售情況,行業(yè)的銷售的趨勢(shì),給淘寶賣家?guī)?lái)更大的數(shù)據(jù)營(yíng)銷方面的數(shù)據(jù)方面的支持;另外還有一個(gè)比較大的數(shù)據(jù)產(chǎn)品是電子統(tǒng)計(jì),即提供給淘寶賣家的一些電子統(tǒng)計(jì),包括賣家的訪客來(lái)源,訪客喜歡什么時(shí)間段來(lái),定了哪些商品等非常詳細(xì)的訂貨的統(tǒng)計(jì),這些信息也有助于淘寶的產(chǎn)品商戶和賣家了解、分析用戶行為,設(shè)計(jì)增值服務(wù)。這不僅需要數(shù)據(jù)倉(cāng)庫(kù)對(duì)海量數(shù)據(jù)進(jìn)行更新、集中處理,也需要它能提供每天動(dòng)態(tài)、實(shí)時(shí)的分析,無(wú)疑對(duì)于數(shù)據(jù)庫(kù)系統(tǒng)是個(gè)巨大的挑戰(zhàn)。
淘寶網(wǎng)利用Oracle產(chǎn)品構(gòu)建淘寶數(shù)據(jù)庫(kù)的技術(shù)已經(jīng)有4年的時(shí)間。并于2007年、2008年和2009年三次利用Oracle RAC 10g和Oracle RAC 11g對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行了升級(jí)和擴(kuò)充,將數(shù)據(jù)倉(cāng)庫(kù)部署在RAC系統(tǒng)之上。4年來(lái),淘寶的業(yè)務(wù)每年是保持100%以上的增長(zhǎng)速度,淘寶的數(shù)據(jù)庫(kù)也在不斷增長(zhǎng)。2006年,淘寶的RAC系統(tǒng)還是4個(gè)節(jié)點(diǎn),2008年,淘寶將之升級(jí)到12個(gè)節(jié)點(diǎn),2009年的時(shí)候又把它升到20個(gè)節(jié)點(diǎn),使淘寶在數(shù)據(jù)倉(cāng)庫(kù)規(guī)模每年成倍擴(kuò)大的情況下,實(shí)現(xiàn)了數(shù)據(jù)處理和分析時(shí)效性的不斷提升,應(yīng)對(duì)不斷增長(zhǎng)的數(shù)據(jù)處理需求。
同時(shí),江楓強(qiáng)調(diào),該數(shù)據(jù)庫(kù)系統(tǒng)的實(shí)時(shí)更新已經(jīng)可以做到每小時(shí),或者是每15分鐘,甚至可以做到秒級(jí)的水平——淘寶現(xiàn)在今年新開(kāi)發(fā)的基于日期的復(fù)制已經(jīng)可以做到秒級(jí)的實(shí)時(shí)更新數(shù)據(jù)到這個(gè)數(shù)據(jù)倉(cāng)庫(kù)里面來(lái)。
對(duì)于淘寶來(lái)說(shuō),數(shù)據(jù)的安全性更加重要。江楓說(shuō),淘寶就是所有的數(shù)據(jù)庫(kù)肯定都是在集成網(wǎng)絡(luò)之后的,在外面任何地方都是沒(méi)有辦法訪問(wèn)到淘寶上數(shù)據(jù)庫(kù)上的數(shù)據(jù)的。在監(jiān)控上,淘寶有自己一整套監(jiān)控系統(tǒng)在支持,包括我們防欺詐、防惡意的數(shù)據(jù)。在淘寶內(nèi)部,專門(mén)設(shè)置了一個(gè)非常大的部門(mén)在做這個(gè)事情。
目前,Oracle 11g產(chǎn)品也在淘寶的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)內(nèi)進(jìn)行著測(cè)試,并將在不久的將來(lái),在淘寶網(wǎng)的數(shù)據(jù)庫(kù)系統(tǒng)建設(shè)中,發(fā)揮更大的作用。淘寶也會(huì)經(jīng)過(guò)一次次的改進(jìn)發(fā)展,更好的為網(wǎng)民們服務(wù),當(dāng)然收益***的還是網(wǎng)民們,讓我們共同期待Oracle 11g產(chǎn)品在淘寶的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)通過(guò)測(cè)試,早日上市。
【編輯推薦】
- 淘寶數(shù)據(jù)庫(kù)專家深入解析數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)實(shí)施
- 淘寶專家:開(kāi)始試用低功耗服務(wù)器
- 解析淘寶網(wǎng)二重釣魚(yú)欺詐
- Oracle數(shù)據(jù)庫(kù)系統(tǒng)使用經(jīng)驗(yàn)
- 新推出Oracle數(shù)據(jù)庫(kù)防火墻