[[113840]]

在日前在倫敦舉行的GartnerCRM高峰論壇上，eBay全球業(yè)務(wù)分析負(fù)責(zé)人DavidStephenson做了演講，他表示，我們做網(wǎng)站的目的很簡(jiǎn)單，就是要讓交易成功。

作為交易市場(chǎng)，eBay的首要任務(wù)就是讓銷售者和消費(fèi)者都能獲得滿意的體驗(yàn)。

應(yīng)對(duì)大數(shù)據(jù)，從提出正確的問(wèn)題開始

eBay借助分析軟件更好地理解客戶。Stephenson希望能夠?qū)⑿∩啼伒膫€(gè)性化推薦成功運(yùn)用到面向全球的eBay網(wǎng)站上。他表示：“在小商店，理解客戶很重要。店主需要提供個(gè)性化的推薦、了解客戶偏好、從客戶身上不斷學(xué)習(xí)。”

網(wǎng)絡(luò)測(cè)量數(shù)據(jù)對(duì)Stephenson來(lái)說(shuō)還是陌生的新數(shù)據(jù)類型。eBay會(huì)生成大量的網(wǎng)站分析數(shù)據(jù)，Stephenson稱之為“客戶的足跡”。它可以鮮明地告訴工作人員誰(shuí)來(lái)過(guò)他們的網(wǎng)站，都做了些什么。

Stephenson表示：“網(wǎng)站上能夠提供和實(shí)體店購(gòu)物同樣的體驗(yàn)，客戶可以比較不同的商品。我們也能夠了解到客戶的意圖。”這些都在慢慢改變著eBay。

eBay的網(wǎng)站分析無(wú)所不至，就像是在每個(gè)顧客前面安裝了攝像頭一般。細(xì)致的網(wǎng)站分析也給數(shù)據(jù)管理帶來(lái)困難。整個(gè)網(wǎng)站平均每月產(chǎn)生1億小時(shí)的錄像，客戶數(shù)據(jù)多的難以想象。Stephenson坦言：“誰(shuí)也沒(méi)有辦法每月處理1億小時(shí)的數(shù)據(jù)。”

“我們只能盡量理解客戶，應(yīng)用數(shù)據(jù)科學(xué)技術(shù)利用更多的數(shù)據(jù)和更新類型的數(shù)據(jù)。”

eBay面臨的是1億的用戶，3萬(wàn)多種商品，每秒鐘幾千美元的交易。Stephenson表示，交易數(shù)據(jù)還只是所有數(shù)據(jù)的“冰山一角”。

eBay開始處理所有的客戶行為數(shù)據(jù)。

大數(shù)據(jù)給eBay帶來(lái)的挑戰(zhàn)首先是，要提出正確的問(wèn)題。Stephenson表示，要回答一個(gè)簡(jiǎn)單的問(wèn)題，比如“昨天搜索某一關(guān)鍵字時(shí)，置頂顯示的商品是什么?”，系統(tǒng)要處理50億的瀏覽頁(yè)面。因此，最重要的問(wèn)題是要問(wèn)關(guān)鍵的業(yè)務(wù)問(wèn)題。

三個(gè)平臺(tái)實(shí)現(xiàn)全面的用戶行為分析

除了提出問(wèn)題，Stephenson還希望網(wǎng)站能夠運(yùn)行情感分析、網(wǎng)絡(luò)分析和圖片分析，這些都難以在傳統(tǒng)交易性數(shù)據(jù)庫(kù)中實(shí)現(xiàn)。

eBay把它的數(shù)據(jù)分析業(yè)務(wù)分發(fā)到三個(gè)平臺(tái)，第一個(gè)是Teradata提供的傳統(tǒng)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)(EDW)。Stephenson表示：“核心交易系統(tǒng)必須具有極高的穩(wěn)定性。我們每天要處理50TB的數(shù)據(jù)，系統(tǒng)絕對(duì)不能停機(jī)。”

2002年，eBay搭建了13TB的Teradata企業(yè)數(shù)據(jù)倉(cāng)庫(kù)，提供高效的大規(guī)模并行關(guān)系型數(shù)據(jù)庫(kù)。截止到目前，系統(tǒng)構(gòu)建在上千個(gè)節(jié)點(diǎn)上，數(shù)據(jù)量已經(jīng)增長(zhǎng)到14PB。

說(shuō)到用戶行為數(shù)據(jù)，過(guò)去，eBay只能保留1%的樣本，其他全部扔掉。

Stephenson介紹到：“對(duì)于提出的很多問(wèn)題，我們事先并不知道，我們是根據(jù)客戶的行為數(shù)據(jù)決定問(wèn)什么問(wèn)題的。大概有85%的問(wèn)題是新問(wèn)題。如果你只關(guān)注結(jié)構(gòu)不關(guān)心數(shù)據(jù)，你就無(wú)法問(wèn)出新問(wèn)題，但如果你要存儲(chǔ)所有的數(shù)據(jù)，數(shù)據(jù)量會(huì)大的根本無(wú)法分析。”

這其實(shí)是企業(yè)面臨的一個(gè)困境，究竟應(yīng)該扔掉一部分?jǐn)?shù)據(jù)，還是把所有數(shù)據(jù)都保存。

為了解決這個(gè)問(wèn)題，eBay開始搭建它的第二個(gè)平臺(tái)。七年前，公司開始搭建能夠存儲(chǔ)所有客戶數(shù)據(jù)的平臺(tái)。Stephenson表示：”對(duì)于客戶行為數(shù)據(jù)，我們希望能夠通過(guò)大數(shù)據(jù)方法將其保留。“

eBay需要一個(gè)能夠管理幾百PB各種類型數(shù)據(jù)、只需要5個(gè)人就能維護(hù)、并且分析師可以輕松訪問(wèn)的產(chǎn)品。

公司和Teradata合作，開發(fā)出一款有幾百個(gè)用戶定義功能的客戶應(yīng)用。該系統(tǒng)運(yùn)行在商業(yè)硬件上，應(yīng)用自有軟件，能夠處理所有客戶數(shù)據(jù)，廉價(jià)存儲(chǔ)數(shù)據(jù)。

這就是著名的eBay開發(fā)的客戶數(shù)據(jù)倉(cāng)庫(kù)Singularity。

該系統(tǒng)可以在32秒內(nèi)運(yùn)行臨時(shí)查詢。Stephenson表示，那是Hadoop處理類似的查詢要30秒。

Stephenson表示Singularity在網(wǎng)站的“A/B測(cè)試”中發(fā)揮了重要作用，這可以比較出不同的產(chǎn)品組合中，哪種組合最受歡迎。eBay用它測(cè)試了很多東西，比如測(cè)試網(wǎng)站消費(fèi)者是否喜歡網(wǎng)站顯示商品大圖。

這項(xiàng)技術(shù)還可以用于搜索提示，Stephenson稱之為“搜索欄里的經(jīng)濟(jì)學(xué)家”。eBay可以根據(jù)用戶已選擇的話題或者已提出的問(wèn)題，提供搜索查詢建議。因?yàn)檎麄€(gè)系統(tǒng)中，基本每一個(gè)問(wèn)題都被問(wèn)過(guò)了。

通過(guò)這樣的查詢，eBay銷售者就可以了解到是否需要降價(jià)、包郵或提供其他優(yōu)惠。

除了企業(yè)數(shù)據(jù)倉(cāng)庫(kù)和Singularity，eBay還使用了Hadoop，這就是它的第三個(gè)平臺(tái)。eBay部署了兩個(gè)2萬(wàn)節(jié)點(diǎn)的Hadoop集群，能處理80PB的數(shù)據(jù)。

有了這三個(gè)平臺(tái)，eBay終于可以實(shí)現(xiàn)對(duì)所有用戶行為數(shù)據(jù)的存儲(chǔ)與分析。