一分鐘了解互聯網數據挖掘流程
1、爬蟲抓取網絡數據
真實的數據挖掘項目，一定是從獲取數據開始的，除了通過一些渠道購買或者下載專業數據外，常常需要大家自己動手爬互聯網數據，這個時候，爬蟲就顯得格外重要了。
Nutch爬蟲的主要作用是從網絡上抓取網頁數據并建立索引。我們只需指定網站的***網址，如taobao.com，爬蟲可以自動探測出頁面內容里新的網址，從而進一步抓取鏈接網頁數據。nutch支持把抓取的數據轉化成文本，如（PDF、WORD、EXCEL、HTML、XML等形式）轉換成純文字字符。
Nutch與Hadoop集成，可以將下載的數據保存到hdfs，用于后續離線分析。使用步驟為：
-
向hdfs中存入待抓取的網站url
$ hadoop fs -put urldir urldir
注：
***個urldir為本地文件夾，存放了url數據文件，每行一個url地址
第二個urldir為hdfs的存儲路徑。
-
啟動nutch，在NUTCH_HONE目錄下執行以下命令
$ bin/nutch crawlurldir –dir crawl -depth 3 –topN 10
命令成功執行后，會在hdfs中生成crawl目錄。
2、MapReduce預處理數據
對于下載的原始文本文檔，無法直接進行處理，需要對文本內容進行預處理，包括文檔切分、文本分詞、去停用詞（包括標點、數字、單字和其它一些無意義的詞）、文本特征提取、詞頻統計、文本向量化等操作。
常用的文本預處理算法是TF-IDF，其主要思想是，如果某個詞或短語在一篇文章中出現的頻率高，并且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來做分類。
-
輸入原始文本內容：
Againit seems that cocoa delivered……
-
執行TF-IDF預處理：
hadoop jar $JAR SparseVectorsFromSequenceFiles……
-
輸出文本向量:
9219:0.246 453:0.098 10322:0.21 11947:0.272 ……
每一列是詞及其權重，使用冒號分隔，例如“9219:0.246”表示編號為9219的詞，對應原始單詞為“Again”，其權重值為0.246。
3、Mahout數據挖掘
預處理后的數據就可以用來做數據挖掘。Mahout是一個很強大的數據挖掘工具，是分布式機器學習算法的集合，包括：協同過濾、分類、聚類等。
以LDA算法為例，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。它是一種無監督學習算法，在訓練時不需要手工標注主題，需要的僅僅是指定主題的數量K。此外LDA的另一個優點則是，對于每一個主題均可找出一些詞語來描述它。
-
輸入預處理后的數據:
9219:0.246 453:0.098 ……
-
執行LDA挖掘算法：
mahout cvb –k 20……
-
輸出挖掘結果：
topic1 {computer,technology,system,internet,machine}
topic2 {play,film,movie,star,director,production,stage}
我們可以獲知用戶的偏好是哪些主題，這些主題是由一些關鍵詞組成。
4、Sqoop導出到關系數據庫
在某些場景下，需要把數據挖掘的結果導出到關系數據庫，用于及時響應外部應用查詢。
sqoop是一個用來把hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如：MySQL ,Oracle 等）中的數據導入到hadoop的hdfs中，也可以將hdfs的數據導出到關系型數據庫中：
sqoop export –connect jdbc:mysql://localhost:3306/zxtest –username root–password root –table result_test –export-dir /user/mr/lda/out
export操作實現把hdfs目錄/user/mr/lda/out下數據導出到mysql的result_test表。
