Runsen在KFC買(mǎi)早餐，偶然聽(tīng)見(jiàn)一句話，男孩對(duì)朋友說(shuō)，“你每在手機(jī)上下一次訂單，就給肯德基的大數(shù)據(jù)做了一次貢獻(xiàn)。”

[[358102]]

想來(lái)有趣，在網(wǎng)上購(gòu)物、訂外賣(mài)、手機(jī)支付已成為很多人日常生活的一部分，可穿戴設(shè)備、智能家居設(shè)備等風(fēng)頭正旺的現(xiàn)在，我們每天的吃飯、睡覺(jué)、工作，甚至娛樂(lè)產(chǎn)生的“數(shù)據(jù)”都會(huì)通過(guò)某種手段被保留和集中起來(lái)。根據(jù)IBM調(diào)研的說(shuō)法，人類每天生成的數(shù)據(jù)涵蓋我們發(fā)送的文本、上傳的照片、各類傳感器數(shù)據(jù)、設(shè)備與設(shè)備之間的通信的所有信息等，相當(dāng)于從地球到月球的距離。

將這樣量級(jí)的數(shù)據(jù)稱為“大數(shù)據(jù)”可一點(diǎn)也不為過(guò)。最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的全球知名咨詢公司麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。”今天我們就來(lái)說(shuō)說(shuō)大數(shù)據(jù)。

一、什么是大數(shù)據(jù)

[[358103]]

在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》 中，大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理的分析方法；而研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)；根據(jù)維基百科的定義，大數(shù)據(jù)是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。

我們這里主要采用第三種定義，即所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到獲取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策的目的資訊。

[[358104]]

湖畔大學(xué)曾鳴老師曾列舉的的大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)最大的差別是：在線、實(shí)時(shí)與全貌。

①在線：首先大數(shù)據(jù)必須是永遠(yuǎn)是在線的，而且在線的還得是熱備份的，不是冷備份的，不是放在磁帶里的，是隨時(shí)能調(diào)用的。不在線的數(shù)據(jù)不是大數(shù)據(jù)，因?yàn)槟愀緵](méi)時(shí)間把它導(dǎo)出來(lái)使用。只有在線的數(shù)據(jù)才能馬上被計(jì)算、被使用。

②實(shí)時(shí)：大數(shù)據(jù)必須實(shí)時(shí)反應(yīng)。我們上淘寶輸入一個(gè)商品，后臺(tái)必須在10億件商品當(dāng)中，瞬間進(jìn)行呈現(xiàn)。如果要等一個(gè)小時(shí)才呈現(xiàn)，我相信沒(méi)有人再上淘寶。十億件商品、幾百萬(wàn)個(gè)賣(mài)家、一億的消費(fèi)者，瞬間完成匹配呈現(xiàn)，這才叫大數(shù)據(jù)。

③全貌：大數(shù)據(jù)還有一個(gè)最大的特征，它不再是樣本思維，它是一個(gè)全體思維。以前一提到數(shù)據(jù)，人們第一個(gè)反應(yīng)是樣本、抽樣，但是大數(shù)據(jù)不再抽樣，不再調(diào)用部分，我們要的是所有可能的數(shù)據(jù)，它是一個(gè)全貌。其實(shí)叫全數(shù)據(jù)比大數(shù)據(jù)更準(zhǔn)確。

二、大數(shù)據(jù)對(duì)企業(yè)有什么好處

“大數(shù)據(jù)”在物理學(xué)、

生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日，卻因?yàn)榻陙?lái)互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。據(jù)統(tǒng)計(jì)，企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息、互聯(lián)網(wǎng)中的商品物流信息、人與人交互信息、位置信息等數(shù)據(jù)，每2～3年時(shí)間就會(huì)成倍增長(zhǎng)。

而信息是現(xiàn)代企業(yè)的重要資源，是企業(yè)運(yùn)用科學(xué)管理、決策分析的基礎(chǔ)。這些數(shù)據(jù)蘊(yùn)含著巨大的商業(yè)價(jià)值，但是企業(yè)所關(guān)注的通常只占在總數(shù)據(jù)量的2%～4%左右。因此，企業(yè)仍然沒(méi)有最大化地利用已存在的數(shù)據(jù)資源，以至于浪費(fèi)了更多的時(shí)間和資金，也失去制定關(guān)鍵商業(yè)決策的最佳契機(jī)。

[[358105]]

對(duì)于一般的企業(yè)而言，大數(shù)據(jù)的作用主要表現(xiàn)在兩個(gè)方面：

1.幫助企業(yè)了解用戶

大數(shù)據(jù)通過(guò)相關(guān)性分析，將客戶和產(chǎn)品、服務(wù)進(jìn)行關(guān)系串聯(lián)，對(duì)用戶的偏好進(jìn)行定位，從而提供更精準(zhǔn)、更有導(dǎo)向性的產(chǎn)品和服務(wù)，提升銷(xiāo)售業(yè)績(jī)。典型的例子就是電商。像阿里淘寶這樣的電子商務(wù)平臺(tái)，積累了大量的用戶購(gòu)買(mǎi)數(shù)據(jù)。在早期的時(shí)候，這些數(shù)據(jù)都是累贅和負(fù)擔(dān)，存儲(chǔ)它們需要大量的硬件成本。但是，現(xiàn)在這些數(shù)據(jù)都是阿里最寶貴的財(cái)富。

大數(shù)據(jù)也可以對(duì)業(yè)績(jī)產(chǎn)生直接影響。它的效率和準(zhǔn)確性，遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)的用戶調(diào)研。除了電商，包括能源、影視、證券、金融、農(nóng)業(yè)、工業(yè)、交通運(yùn)輸、公共事業(yè)等，都是大數(shù)據(jù)的用武之地。

2.幫助企業(yè)了解自己

除了幫助了解用戶之外，大數(shù)據(jù)還能幫助了解自己。企業(yè)生產(chǎn)經(jīng)營(yíng)需要大量的資源，大數(shù)據(jù)可以分析和鎖定資源的具體情況，例如儲(chǔ)量分布和需求趨勢(shì)。這些資源的可視化，可以幫助企業(yè)管理者更直觀地了解企業(yè)的運(yùn)作狀態(tài)，更快地發(fā)現(xiàn)問(wèn)題，及時(shí)調(diào)整運(yùn)營(yíng)策略，降低經(jīng)營(yíng)風(fēng)險(xiǎn)。總而言之，“知己知彼，百戰(zhàn)百勝”。大數(shù)據(jù)，就是為決策服務(wù)的。

三、大數(shù)據(jù)有什么特點(diǎn)

大數(shù)據(jù)的特點(diǎn)有4個(gè)層面：

1.Volume（海量化）：數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別；

2.Variety（多樣化）：數(shù)據(jù)的形式是多種多樣的，包括數(shù)字（價(jià)格、交易數(shù)據(jù)、體重、人數(shù)等）、文本（郵件、網(wǎng)頁(yè)等）、圖像、音頻、視頻、位置信息（經(jīng)緯度、海拔等），等等，都是數(shù)據(jù)；

3.Velocity（時(shí)效性）：處理速度快，1秒定律，從數(shù)據(jù)的生成到消耗，時(shí)間窗口非常小。數(shù)據(jù)的變化速率，還有處理過(guò)程，越來(lái)越快。例如變化速率，從以前的按天變化，變成現(xiàn)在的按秒甚至毫秒變化；

4.Value（價(jià)值密度）：大數(shù)據(jù)的數(shù)據(jù)量很大，但隨之帶來(lái)的，就是價(jià)值密度很低，數(shù)據(jù)中真正有價(jià)值的，只是其中的很少一部分。只要合理利用數(shù)據(jù)并對(duì)其進(jìn)行正確、準(zhǔn)確的分析，將會(huì)帶來(lái)很高的價(jià)值回報(bào)

四、大數(shù)據(jù)的開(kāi)發(fā)

[[358106]]

1.數(shù)據(jù)采集

數(shù)據(jù)采集有線上和線下兩種方式，線上一般通過(guò)爬蟲(chóng)，通過(guò)抓取或者通過(guò)已有應(yīng)用系統(tǒng)的采集。

在這個(gè)階段，我們可以做一個(gè)大數(shù)據(jù)采集平臺(tái)，依托自動(dòng)爬蟲(chóng)（使用Python或者Node.js制作爬蟲(chóng)軟件），ETL工具、或者自定義的抽取轉(zhuǎn)換引擎，從文件中、數(shù)據(jù)庫(kù)中、網(wǎng)頁(yè)中專項(xiàng)爬取數(shù)據(jù)。如果這一步通過(guò)自動(dòng)化系統(tǒng)來(lái)做的話，可以很方便的管理所有的原始數(shù)據(jù)，并且從數(shù)據(jù)的開(kāi)始對(duì)數(shù)據(jù)進(jìn)行標(biāo)簽采集，可以規(guī)范開(kāi)發(fā)人員的工作，同時(shí)目標(biāo)數(shù)據(jù)源可以更方便的管理。

數(shù)據(jù)采集的難點(diǎn)在于多數(shù)據(jù)源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。還有本地文件、excel統(tǒng)計(jì)文檔、甚至是doc文件。如何將它們規(guī)整、有方案地整理進(jìn)我們的大數(shù)據(jù)流程中也是必不可缺的一環(huán)。

2.數(shù)據(jù)匯聚

數(shù)據(jù)的匯聚是大數(shù)據(jù)流程最關(guān)鍵的一步，你可以在這里加上數(shù)據(jù)標(biāo)準(zhǔn)化，你也可以在這里做數(shù)據(jù)清洗，數(shù)據(jù)合并，還可以在這一步將數(shù)據(jù)存檔，將確認(rèn)可用的數(shù)據(jù)經(jīng)過(guò)可監(jiān)控的流程進(jìn)行整理歸類，這里產(chǎn)出的所有數(shù)據(jù)就是整個(gè)公司的數(shù)據(jù)資產(chǎn)，到了一定的量就是一筆固定資產(chǎn)。

數(shù)據(jù)匯聚的難點(diǎn)在于如何標(biāo)準(zhǔn)化數(shù)據(jù)，例如表名標(biāo)準(zhǔn)化，表的標(biāo)簽分類，表的用途，數(shù)據(jù)的量，是否有數(shù)據(jù)增量？數(shù)據(jù)是否可用？

這些需要在業(yè)務(wù)上下很大的功夫，必要時(shí)還要引入智能化處理，例如根據(jù)內(nèi)容訓(xùn)練結(jié)果自動(dòng)打標(biāo)簽，自動(dòng)分配推薦表名、表字段名等，還有如何從原始數(shù)據(jù)中導(dǎo)入數(shù)據(jù)等。

3.數(shù)據(jù)轉(zhuǎn)化與映射

經(jīng)過(guò)數(shù)據(jù)匯聚的數(shù)據(jù)資產(chǎn)如何提供給具體的使用方使用？在這一步，主要就是考慮數(shù)據(jù)如何應(yīng)用，如何將兩、三個(gè)數(shù)據(jù)表轉(zhuǎn)換成一張能夠提供服務(wù)的數(shù)據(jù)。然后定期更新增量。

經(jīng)過(guò)前面的那幾步，在這一步難點(diǎn)并不太多了，如何轉(zhuǎn)換數(shù)據(jù)與如何清洗數(shù)據(jù)、標(biāo)準(zhǔn)數(shù)據(jù)無(wú)二，將兩個(gè)字段的值轉(zhuǎn)換成一個(gè)字段，或者根據(jù)多個(gè)可用表統(tǒng)計(jì)出一張圖表數(shù)據(jù)等等。

4.數(shù)據(jù)應(yīng)用

數(shù)據(jù)的應(yīng)用方式很多，有對(duì)外的、有對(duì)內(nèi)的，如果擁有了前期的大量數(shù)據(jù)資產(chǎn)，是通過(guò)restful API提供給用戶？還是提供流式引擎 KAFKA 給應(yīng)用消費(fèi)? 或者直接組成專題數(shù)據(jù)，供自己的應(yīng)用查詢？這里對(duì)數(shù)據(jù)資產(chǎn)的要求比較高，所以前期的工作做好了，這里的自由度很高。

五、大數(shù)據(jù)、數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別

大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘的區(qū)別是，大數(shù)據(jù)是互聯(lián)網(wǎng)的海量數(shù)據(jù)挖掘，而數(shù)據(jù)挖掘更多是針對(duì)內(nèi)部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘，數(shù)據(jù)分析就是進(jìn)行做出針對(duì)性的分析和診斷，大數(shù)據(jù)需要分析的是趨勢(shì)和發(fā)展，數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問(wèn)題和診斷：

[[358107]]

1.大數(shù)據(jù)

指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

2.數(shù)據(jù)分析

是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。這一過(guò)程也是質(zhì)量管理體系的支持過(guò)程。在實(shí)用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當(dāng)行動(dòng)。

3.數(shù)據(jù)挖掘

又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)(英語(yǔ)：Knowledge-Discovery in Databases，簡(jiǎn)稱：KDD)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過(guò)去的經(jīng)驗(yàn)法則)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。

數(shù)據(jù)挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。

根據(jù)信息存儲(chǔ)格式，用于挖掘的對(duì)象有關(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)態(tài)數(shù)據(jù)庫(kù)、異質(zhì)數(shù)據(jù)庫(kù)以及Internet等。

大數(shù)據(jù)是范圍比較廣的數(shù)據(jù)分析和數(shù)據(jù)挖掘。按照數(shù)據(jù)分析的流程來(lái)說(shuō)，數(shù)據(jù)挖掘工作較數(shù)據(jù)分析工作靠前些，二者又有重合的地方，數(shù)據(jù)挖掘側(cè)重?cái)?shù)據(jù)的清洗和梳理。數(shù)據(jù)分析處于數(shù)據(jù)處理的最末端，是最后階段。數(shù)據(jù)分析和數(shù)據(jù)挖掘的分界、概念比較模糊，模糊的意思是二者很難區(qū)分。大數(shù)據(jù)概念更為廣泛，是把創(chuàng)新的思維、信息技術(shù)、統(tǒng)計(jì)學(xué)等等技術(shù)的綜合體，每個(gè)人限于學(xué)術(shù)背景、技術(shù)背景，概述的都不一樣。

六、大數(shù)據(jù)的應(yīng)用

數(shù)據(jù)在行業(yè)中的應(yīng)用的越來(lái)越廣泛，我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn)：

1.大數(shù)據(jù)幫助政府實(shí)現(xiàn)市場(chǎng)經(jīng)濟(jì)調(diào)控、公共衛(wèi)生安全防范、災(zāi)難預(yù)警、社會(huì)輿論監(jiān)督；大數(shù)據(jù)幫助城市預(yù)防犯罪，實(shí)現(xiàn)智慧交通，提升緊急應(yīng)急能力；電力企業(yè)會(huì)通過(guò)大數(shù)據(jù)實(shí)時(shí)做數(shù)據(jù)的監(jiān)測(cè)和預(yù)測(cè)，讓我們更好、更方便做這種電力的調(diào)度；

2.醫(yī)療中更是有著比較廣泛的應(yīng)用，現(xiàn)在的基因工程以及疾病的預(yù)測(cè)分析和每個(gè)病人的手術(shù)方案等等，可能都會(huì)用到大數(shù)據(jù)。 大數(shù)據(jù)幫助醫(yī)療機(jī)構(gòu)建立患者的疾病風(fēng)險(xiǎn)跟蹤機(jī)制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機(jī)構(gòu)為患者提供定制的藥物；

3.大數(shù)據(jù)幫助電商公司向用戶推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場(chǎng)的買(mǎi)賣(mài)雙方找到最合適的交易目標(biāo)，幫助用戶找到最合適的商品購(gòu)買(mǎi)時(shí)期、商家和最優(yōu)惠價(jià)格；

4.大數(shù)據(jù)幫助企業(yè)提升營(yíng)銷(xiāo)的針對(duì)性，降低物流和庫(kù)存的成本，減少投資的風(fēng)險(xiǎn)，以及幫助企業(yè)提升廣告投放精準(zhǔn)度；大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶提供更精準(zhǔn)的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購(gòu)買(mǎi)的商品；

5.大數(shù)據(jù)幫助娛樂(lè)行業(yè)預(yù)測(cè)歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評(píng)估拍一部電影需要投入多少錢(qián)才最合適，否則就有可能收不回成本；另外電影其實(shí)都是需要渲染的，之前每渲染一分鐘可能就需要上千臺(tái)機(jī)器、可能需要一兩個(gè)月，現(xiàn)在通過(guò)云計(jì)算、大數(shù)據(jù)的方式，可能渲染一個(gè)一分鐘的電影鏡頭就縮短成了一秒或者兩秒。

6.大數(shù)據(jù)幫助航空公司節(jié)省運(yùn)營(yíng)成本，幫助電信企業(yè)實(shí)現(xiàn)售后服務(wù)質(zhì)量提升，幫助保險(xiǎn)企業(yè)識(shí)別欺詐騙保行為，幫助快遞公司監(jiān)測(cè)分析運(yùn)輸車(chē)輛的故障險(xiǎn)情以提前預(yù)警維修，幫助電力公司有效識(shí)別預(yù)警即將發(fā)生故障的設(shè)備；

[[358108]]

七、大數(shù)據(jù)的展望

其實(shí)，除了以上大數(shù)據(jù)的應(yīng)用外，未來(lái)大數(shù)據(jù)的身影應(yīng)該無(wú)處不在，就算無(wú)法準(zhǔn)確預(yù)測(cè)大數(shù)據(jù)終會(huì)將人類社會(huì)帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒(méi)地球的每一個(gè)角落。

比如，Amazon的最終期望是：“最成功的書(shū)籍推薦應(yīng)該只有一本書(shū)，就是用戶要買(mǎi)的下一本書(shū)。”Google也希望當(dāng)用戶在搜索時(shí)，最好的體驗(yàn)是搜索結(jié)果只包含用戶所需要的內(nèi)容，而這并不需要用戶給予Google太多的提示。

而當(dāng)物聯(lián)網(wǎng)發(fā)展到達(dá)一定規(guī)模時(shí)，借助條形碼、二維碼、RFID等能夠唯一標(biāo)識(shí)產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強(qiáng)現(xiàn)實(shí)等技術(shù)可實(shí)現(xiàn)實(shí)時(shí)的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來(lái)源和服務(wù)范圍。

未來(lái)的大數(shù)據(jù)除了將更好的解決社會(huì)問(wèn)題，商業(yè)營(yíng)銷(xiāo)問(wèn)題，科學(xué)技術(shù)問(wèn)題，還有一個(gè)可預(yù)見(jiàn)的趨勢(shì)是以人為本的大數(shù)據(jù)方針。人才是地球的主宰，大部分的數(shù)據(jù)都與人類有關(guān)，要通過(guò)大數(shù)據(jù)解決人的問(wèn)題。