[[229256]]

大家好，《手把手教你寫網絡爬蟲》連載開始了！在筆者的職業生涯中，幾乎沒有發現像網絡爬蟲這樣的編程實踐，可以同時吸引程序員和門外漢的注意。本文由淺入深的把爬蟲技術和盤托出，為初學者提供一種輕松的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧！

介紹

什么是爬蟲？

先看看百度百科的定義:

[[229257]]

把這段代碼保存為get_html.py，然后運行，看看輸出了什么：

定位到的html代碼：

有了這些信息，就可以用BeautifulSoup提取數據了。升級一下代碼：

把這段代碼保存為get_data.py，然后運行，看看輸出了什么：

沒錯，得到了我們想要的數據！

BeautifulSoup提供一些簡單的、Python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數據，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。怎么樣，是不是覺得只要復制粘貼就可以寫爬蟲了？簡單的爬蟲確實是可以的！

一個迷你爬蟲

我們先定一個小目標：爬取網易云音樂播放數大于500萬的歌單。

打開歌單的url: http://music.163.com/#/discover/playlist，然后用BeautifulSoup提取播放數<span class=”nb”>3715</span>。結果表明，我們什么也沒提取到。難道我們打開了一個假的網頁？

[[229259]]

Selenium：是一個強大的網絡數據采集工具，其最初是為網站自動化測試而開發的。近幾年，它還被廣泛用于獲取精確的網站快照，因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像可以加載網站的瀏覽器，但是它也可以像BeautifulSoup對象一樣用來查找頁面元素，與頁面上的元素進行交互（發送文本、點擊等），以及執行其他動作來運行網絡爬蟲。安裝方式與其他Python第三方庫一樣。 

$pip install Selenium 

驗證一下：

Selenium 自己不帶瀏覽器，它需要與第三方瀏覽器結合在一起使用。例如，如果你在Firefox 上運行Selenium，可以直接看到一個Firefox 窗口被打開，進入網站，然后執行你在代碼中設置的動作。雖然這樣可以看得更清楚，但不適用于我們的爬蟲程序，爬一頁就打開一頁效率太低，所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。

PhantomJS：是一個“無頭”（headless）瀏覽器。它會把網站加載到內存并執行頁面上的JavaScript，但是它不會向用戶展示網頁的圖形界面。把Selenium和PhantomJS 結合在一起，就可以運行一個非常強大的網絡爬蟲了，可以處理cookie、JavaScript、header，以及任何你需要做的事情。

PhantomJS并不是Python的第三方庫，不能用pip安裝。它是一個完善的瀏覽器，所以你需要去它的官方網站下載，然后把可執行文件拷貝到Python安裝目錄的Scripts文件夾，像這樣：

開始干活！

打開歌單的***頁：

http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0

用Chrome的“開發者工具”F12先分析一下，很容易就看穿了一切。

播放數nb (number broadcast)：29915

封面 msk (mask)：有標題和url

同理，可以找到“下一頁”的url，***一頁的url是“javascript:void(0)”。

***，用18行代碼即可完成我們的工作。

把這段代碼保存為get_data.py，然后運行。運行結束后，在程序的目錄里生成了一個playlist.csv文件。

看到成果后是不是很有成就感？如果你感興趣，還可以按照這個思路，找找評論數最多的單曲，再也不用擔心沒歌聽了！

今天的內容比較淺顯，希望對你有用。就先介紹到這里，我們下期再見！

 原文鏈接：http://www.cnblogs.com/tuohai666/p/8718107.html