大數(shù)據(jù)是指基于社會(huì)進(jìn)步、經(jīng)濟(jì)快速發(fā)展和技術(shù)進(jìn)步，對(duì)人們生產(chǎn)生活中產(chǎn)生的大量數(shù)據(jù)信息進(jìn)行有效、及時(shí)的處理和分析的技術(shù)。大數(shù)據(jù)具有四大特點(diǎn)：數(shù)據(jù)量大、數(shù)據(jù)種類繁多、價(jià)值密度高、處理速度快。近年來(lái)，大數(shù)據(jù)在經(jīng)濟(jì)領(lǐng)域得到廣泛應(yīng)用，目前已成為社會(huì)發(fā)展的重要標(biāo)志(Sun Z., Zou H. & Strang K. 2015)。在電子商務(wù)服務(wù)模式的創(chuàng)新升級(jí)中，大數(shù)據(jù)將利用相關(guān)技術(shù)創(chuàng)新商業(yè)智能，更有利于電子商務(wù)的長(zhǎng)期穩(wěn)定發(fā)展。

一、大數(shù)據(jù)時(shí)代下的電子商務(wù)

在大數(shù)據(jù)背景下，電子商務(wù)的發(fā)展依托大數(shù)據(jù)高效的數(shù)據(jù)采集、處理和分析能力，將電子商務(wù)的價(jià)值創(chuàng)造推向了新的高峰。電子商務(wù)作為伴隨經(jīng)濟(jì)發(fā)展和企業(yè)消費(fèi)而出現(xiàn)的一系列新的消費(fèi)形式，無(wú)論是在電商平臺(tái)、移動(dòng)終端、社交軟件，還是其他任何第三方平臺(tái)，都擁有大量的數(shù)據(jù)(Choi T.、Chan HK & Yue X. 2017)。傳統(tǒng)方法無(wú)法處理這些數(shù)據(jù)，這些數(shù)據(jù)不僅信息量巨大、種類繁多，而且數(shù)據(jù)的分析和整理也面臨新的困難。在商業(yè)智能領(lǐng)域，數(shù)據(jù)信息不僅包括圖片和視頻，還包括用戶的評(píng)價(jià)和反饋。有效利用這些信息，可以為商業(yè)智能的發(fā)展提供正確的方向。電子商務(wù)相關(guān)領(lǐng)域可以根據(jù)數(shù)據(jù)中的用戶信息、評(píng)論以及反饋，對(duì)消費(fèi)者的購(gòu)物趨勢(shì)進(jìn)行分析和梳理。根據(jù)分析結(jié)果及時(shí)調(diào)整產(chǎn)品的銷售模式及方向，或者重新梳理消費(fèi)需求，改善產(chǎn)品不足、促進(jìn)消費(fèi)增長(zhǎng)(Larson D. & Chang V. 2016)。在大數(shù)據(jù)時(shí)代，過(guò)去被認(rèn)為無(wú)用的數(shù)據(jù)垃圾往往會(huì)通過(guò)一定的處理分析并加以利用，給企業(yè)帶來(lái)意想不到的好處。大數(shù)據(jù)還可為商業(yè)智能提供更準(zhǔn)確、更實(shí)時(shí)的消費(fèi)信息和消費(fèi)者需求，進(jìn)而更準(zhǔn)確地制定出更適合企業(yè)的發(fā)展方向(Sun Z., Sun L. & Strang K. 2018)。

如今電子商務(wù)的商業(yè)模式發(fā)生了巨大的變化。從傳統(tǒng)的管理運(yùn)營(yíng)模式到信息化的數(shù)據(jù)化運(yùn)營(yíng)模式，從基礎(chǔ)物資采購(gòu)到資產(chǎn)運(yùn)營(yíng)再到訂單完成，電子商務(wù)和各個(gè)經(jīng)濟(jì)環(huán)節(jié)的管理已經(jīng)數(shù)字化并貫穿整個(gè)電商流程。通過(guò)大數(shù)據(jù)專業(yè)分析技術(shù)的應(yīng)用，電子商務(wù)可以分析和預(yù)測(cè)消費(fèi)者的消費(fèi)習(xí)慣和心理，從而為電子商務(wù)的市場(chǎng)供需調(diào)度提供一系列建議和指導(dǎo)，減少電子商務(wù)的商業(yè)生產(chǎn)成本(Ram J.、Zhang C. & Koronios A. 2016)。

在電商運(yùn)營(yíng)中，大數(shù)據(jù)時(shí)代的到來(lái)可以讓整個(gè)電商行業(yè)的信息資源共享變得方便快捷。電子商務(wù)的各個(gè)環(huán)節(jié)都有效地利用了大數(shù)據(jù)的綜合處理技術(shù)，實(shí)現(xiàn)了整個(gè)產(chǎn)品生產(chǎn)供應(yīng)環(huán)節(jié)中各種數(shù)據(jù)信息的及時(shí)共享。為了更好地吸引消費(fèi)者，促進(jìn)產(chǎn)品銷售，電商企業(yè)最終將實(shí)現(xiàn)產(chǎn)業(yè)結(jié)構(gòu)的優(yōu)化提升，過(guò)去被認(rèn)為沒(méi)有價(jià)值的數(shù)據(jù)資料也將成為熱點(diǎn)資源。電商模式下產(chǎn)生的數(shù)據(jù)資源不僅可以自己使用，還可以在電商企業(yè)間創(chuàng)造相應(yīng)的商業(yè)利益。各電商企業(yè)可以利用數(shù)據(jù)信息開(kāi)展數(shù)據(jù)分析服務(wù)、數(shù)據(jù)可視化服務(wù)、共享數(shù)據(jù)資源服務(wù)等，拓展電商業(yè)務(wù)渠道，為企業(yè)帶來(lái)效益。

二、為什么eBay需要數(shù)據(jù)分析

不論哪個(gè)行業(yè)都有自己的規(guī)則，必須熟悉并遵守行業(yè)規(guī)則。 eBay必須分析產(chǎn)品的選擇和營(yíng)銷方式等因素。

首先，eBay的營(yíng)銷活動(dòng)應(yīng)該以用戶和體驗(yàn)為基礎(chǔ)。把用戶關(guān)注的產(chǎn)品和問(wèn)題放在首位，告訴用戶為什么要買(mǎi)這個(gè)產(chǎn)品，解決需要為其解決的問(wèn)題，打消用戶顧慮，促進(jìn)交易成功。

其次，目標(biāo)消費(fèi)群體也需要通過(guò)大數(shù)據(jù)解決方案進(jìn)行分析。這方面主要是分析用戶的年齡、性別、地區(qū)、職業(yè)、消費(fèi)習(xí)慣及興趣。 eBay需要比用戶更了解產(chǎn)品，明白用戶為什么要買(mǎi)這個(gè)產(chǎn)品，清晰地知道用戶需要買(mǎi)什么，這樣才能更好地挖掘用戶市場(chǎng)和潛在消費(fèi)者。通過(guò)分析數(shù)據(jù)，eBay知道什么樣的用戶購(gòu)買(mǎi)什么樣的產(chǎn)品，根據(jù)自己的需求，確定主打產(chǎn)品、產(chǎn)品價(jià)格定位，進(jìn)行一系列產(chǎn)品分析。

最后，從用戶喜好、產(chǎn)品創(chuàng)新、價(jià)格定位、品牌選擇等方面，與同類產(chǎn)品進(jìn)行比較，分析熱銷產(chǎn)品的原因和熱銷時(shí)間的長(zhǎng)短，以及后期可以更換哪些產(chǎn)品。最重要的是，大數(shù)據(jù)可以降低電商企業(yè)的運(yùn)營(yíng)成本，提高運(yùn)營(yíng)效率。

傳統(tǒng)電商平臺(tái)是根據(jù)市場(chǎng)反饋來(lái)推薦產(chǎn)品。這種做法目前來(lái)看不夠科學(xué)，業(yè)務(wù)變現(xiàn)也比較有限，浪費(fèi)了大量平臺(tái)流量，消費(fèi)者體驗(yàn)也一般。如今，借用云計(jì)算下的大數(shù)據(jù)分析和總結(jié)，可以很好的提取產(chǎn)品優(yōu)勢(shì)，從而根據(jù)用戶興趣進(jìn)行系統(tǒng)推薦。這種大數(shù)據(jù)下的定向推薦機(jī)制，可以降低電商企業(yè)的運(yùn)營(yíng)成本，提升消費(fèi)者體驗(yàn)和運(yùn)營(yíng)效率。

三、eBay實(shí)現(xiàn)數(shù)據(jù)分析面臨的挑戰(zhàn)及解決方案

(一) 面臨的挑戰(zhàn)

隨著信息化階段的開(kāi)始，信息服務(wù)業(yè)已成為21世紀(jì)的主導(dǎo)產(chǎn)業(yè)，電子商務(wù)也實(shí)現(xiàn)了爆發(fā)式的增長(zhǎng)和發(fā)展。人類生活進(jìn)入到了電子商務(wù)時(shí)代，電子商務(wù)行業(yè)的發(fā)展迎來(lái)了一個(gè)新的高峰。作為電子商務(wù)的代表，eBay也面臨許多挑戰(zhàn)。

最大的挑戰(zhàn)是數(shù)據(jù)庫(kù)集群?jiǎn)栴}。面對(duì)大數(shù)據(jù)處理，數(shù)據(jù)庫(kù)集群會(huì)出現(xiàn)一定的缺陷。首先是可擴(kuò)展性不強(qiáng)，系統(tǒng)的硬件基礎(chǔ)設(shè)施會(huì)存在硬件復(fù)雜度高、架設(shè)安裝困難等問(wèn)題，限制了其可擴(kuò)展性。其次是提升空間小，這種空間主要是指數(shù)據(jù)庫(kù)數(shù)據(jù)集的可擴(kuò)展空間。數(shù)據(jù)庫(kù)集群模型在兼容性、可靠性、容錯(cuò)性、支持異構(gòu)條件的能力等方面也存在局限性。

(二) 解決方案

解決數(shù)據(jù)庫(kù)集群?jiǎn)栴}的方案是使用 MapReduce 框架。云計(jì)算架構(gòu)主要是由服務(wù)器組成的大規(guī)模集群的數(shù)據(jù)處理技術(shù)。在數(shù)據(jù)存儲(chǔ)能力和數(shù)據(jù)處理能力上具有絕對(duì)優(yōu)勢(shì)。MapReduce計(jì)算過(guò)程的分解可以理解為對(duì)大數(shù)據(jù)集的解構(gòu)。解構(gòu)的結(jié)果是形成了大量的小數(shù)據(jù)集，這些小數(shù)據(jù)集由集群節(jié)點(diǎn)單獨(dú)處理。它得到中間結(jié)果，并將這些結(jié)果通過(guò)節(jié)點(diǎn)組合起來(lái)，從而得到整個(gè)大數(shù)據(jù)集的處理結(jié)果。

在經(jīng)過(guò)大數(shù)據(jù)集解構(gòu)處理后得到的結(jié)果，可以成為大數(shù)據(jù)分析的情報(bào)資料。按流程來(lái)看，大數(shù)據(jù)情報(bào)分析需要收集海量情報(bào)資料，然后對(duì)海量資料進(jìn)行存儲(chǔ)、預(yù)處理和分析，其中數(shù)據(jù)存儲(chǔ)包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。對(duì)于來(lái)自不同來(lái)源的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，去除冗余或沖突的數(shù)據(jù)，并融合來(lái)自不同來(lái)源的數(shù)據(jù)。在完成這些流程之后，也就意味著完成了大數(shù)據(jù)智能分析。

總的來(lái)說(shuō)，大數(shù)據(jù)智能分析的重點(diǎn)主要體現(xiàn)在大數(shù)據(jù)智能素材采集、大數(shù)據(jù)分布式存儲(chǔ)、大數(shù)據(jù)并行計(jì)算平臺(tái)、大數(shù)據(jù)分析算法和流程自動(dòng)化等方面。大數(shù)據(jù)分布式存儲(chǔ)、并行計(jì)算平臺(tái)、分析算法、流程自動(dòng)化的研發(fā)為大數(shù)據(jù)智能分析提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。目前已經(jīng)有了很多大數(shù)據(jù)技術(shù)服務(wù)商、互聯(lián)網(wǎng)公司、研究機(jī)構(gòu)和開(kāi)源組織(如Apache Hadoop)，他們均致力于大數(shù)據(jù)處理和分析技術(shù)的研發(fā)，并提出了大數(shù)據(jù)的新方法，例如新型存儲(chǔ)和分析技術(shù)。他們開(kāi)發(fā)了具有相應(yīng)功能的大數(shù)據(jù)存儲(chǔ)和計(jì)算工具以及完整的通用大數(shù)據(jù)開(kāi)源云計(jì)算平臺(tái)Hadoop，而且隨著開(kāi)源社區(qū)的不斷發(fā)展壯大，這些開(kāi)源軟件的功能也在不斷的完善和增加。從大數(shù)據(jù)智能分析的角度來(lái)看，主要是充分利用了開(kāi)源社區(qū)的成果，針對(duì)大數(shù)據(jù)智能分析的具體需求，開(kāi)發(fā)或定制相應(yīng)的模塊。