引子

　　【51CTO專稿】在剛剛過去的四月份里，我們51CTO傳媒在京舉辦了《2013大數(shù)據(jù)全球技術峰會》，相信關注大數(shù)據(jù)、關注51CTO的朋友們，在這次大規(guī)模的技術盛宴里，更多地了解了大數(shù)據(jù)的奧秘。如果沒有趕上參加這場峰會的朋友，也不要心急，因為有關此次峰會概況的的視頻已經(jīng)出爐，感興趣的網(wǎng)友可以去我們的官網(wǎng)查看相關信息。本次峰會我們邀請了30多位來自國內(nèi)外的資深技術專家，能和這些專家近距離接觸，面對面交流，小編深感榮幸。為了深入挖掘大數(shù)據(jù)分析系統(tǒng)這方面信息，小編力邀到了某上市互聯(lián)網(wǎng)公司高級工程師馬先生，來共同探討了這一話題。

[[72900]]

（圖片來自百度）

　　大數(shù)據(jù)分析前期要做的事

　　其實，每一個數(shù)據(jù)都有一個ETL，就是抽取、轉(zhuǎn)化，然后去加載，包括做數(shù)據(jù)的清洗。如果數(shù)據(jù)大批量進來的話，有些數(shù)據(jù)可能是有問題的，馬先生舉了個例子：比如說，好多地址會寫得比較模糊，如果要搜索北京這個詞的時候，數(shù)據(jù)倉庫里可能只有一個京字，這些都要統(tǒng)一整理成一個，比如說北京，這樣后面分析就會簡單，比如山東，有人會輸入“魯”字來進行搜索，而不是山東，這就需要在大數(shù)據(jù)分析前期做好數(shù)據(jù)清理工作，做規(guī)范化，這樣后面的數(shù)據(jù)分析起來就方便很多。

搭建大數(shù)據(jù)分析系統(tǒng)的注意事項

　　在搭建大數(shù)據(jù)分析系統(tǒng)時，有哪些需要注意的事項？馬老師提到：首先要弄明白你所在企業(yè)需要什么樣的數(shù)據(jù)，或者你想得到什么價值，想明白了再去做。因為做數(shù)據(jù)不像做別的東西，一定明確知道要知道你要干什么，不然這個系統(tǒng)搭的時候會有很多困難，不知道該怎么搭，不知道用什么技術，也不知道數(shù)據(jù)進去是否在浪費。而目前的情況是：很多企業(yè)可能會先把架構搭出來，實際上這數(shù)據(jù)每天在算，但是不知道這數(shù)據(jù)帶來什么價值，所以更多是一個業(yè)務驅(qū)動的。再舉個例子：比如說中國移動就想挖一挖，到底是哪一個用戶老欠費，哪一個用戶用得多，用的多的就給他優(yōu)惠多一點……如果他有這個需求，你再把這個需求下轉(zhuǎn)給下面的人，按照這個需求去開發(fā)；

　　其次，需要選擇適當?shù)募夹g。比如說你一臺機器夠用的，不要用兩臺機器，能夠進來報表就不要用交互報表，因為那個都是有技術成本的，并且上線的速度會慢很多。所以建議任何一個企業(yè)在搭建數(shù)據(jù)分析以前，要特別清晰地知道其搭建的需求和目的，選擇什么方案，搭它來解決什么問題，針對需求你去做一個數(shù)據(jù)分析；

　　再次，在沒有時時性要求時，你不要自作主張，向老大提這個。因為大公司的批量已經(jīng)做得非常完美了，可能批量已經(jīng)帶來35%的收入增加了，他要再做時時，再增加5%，而你現(xiàn)在什么都沒有。如果說先要做時時，或者先要全部搞出來的話，可能要先一步一部把35%做好，把那個批量先做出來，然后再做時時，這樣效果會更好。

　　不要濫搭大數(shù)據(jù)分析系統(tǒng)

　　技術這個東西都是相通的，沒有一項改進都是說完全是重新造出來的，都是在改的，但是它帶來的價值不一樣，它帶來的人的思考，就跟人從零售店買東西和網(wǎng)商這種不一樣，但是技術，零售店也會用一些數(shù)據(jù)庫，網(wǎng)上也可能用，要在這個上面做一些轉(zhuǎn)變。馬老師談到，好多國企（這里就不點名），就是為了上項目去上項目，稱自己有海量數(shù)據(jù)。當問他需要搭建的大數(shù)據(jù)系統(tǒng)是用來干什么，他們的答案很出乎意料：先給搭起來，先存起來，需要的時候再用，就這種思想。其實這個是沒有必要的。

　　總結

　　雖然大數(shù)據(jù)現(xiàn)在炙手可熱，大數(shù)據(jù)分析越來越火爆，很多企業(yè)都在試圖擁抱大數(shù)據(jù)技術。但還是應該具體問題具體分析，因為大數(shù)據(jù)分析系統(tǒng)并非適合所有的企業(yè)，一些小型規(guī)模的企業(yè)在舊系統(tǒng)能滿足需求的時候，就不要盲目地去追隨潮流，舍棄舊的系統(tǒng)重新搭建，也可能解決了這個小缺口，但是可能會滋生其它更大的問題，這就得不償失了。