Python 爬蟲開發的五個注意事項
作者：手把手PythonAI編程
本文介紹了 Python 爬蟲開發的五個注意事項，通過這些注意事項，你可以更高效、更安全地進行爬蟲開發。
爬蟲開發是數據獲取的重要手段之一，但同時也是一門技術活兒。今天，我們就來聊聊 Python 爬蟲開發的五個注意事項，幫助你在爬蟲開發過程中少走彎路。
1. 尊重網站的 robots.txt 文件
首先，我們要尊重網站的 robots.txt 文件。這個文件定義了哪些頁面可以被爬取，哪些頁面不能被爬取。尊重 robots.txt 文件不僅是道德上的要求，也是法律上的要求。
示例代碼：
import requests
def check_robots_txt(url):
# 獲取 robots.txt 文件的 URL
robots_url = f"{url}/robots.txt"
# 發送請求獲取 robots.txt 文件
response = requests.get(robots_url)
if response.status_code == 200:
print("robots.txt 文件內容:")
print(response.text)
else:
print(f"無法獲取 {robots_url} 的 robots.txt 文件")
# 測試
check_robots_txt("https://www.example.com")輸出結果：
robots.txt 文件內容:
User-agent: *
Disallow: /admin/
Disallow: /private/2. 設置合理的請求間隔
頻繁的請求可能會對目標網站的服務器造成負擔，甚至導致你的 IP 被封禁。因此，設置合理的請求間隔是非常必要的。
示例代碼：
import time
import requests
def fetch_data(url, interval=1):
# 發送請求
response = requests.get(url)
if response.status_code == 200:
print("成功獲取數據:", response.text[:100]) # 打印前100個字符
else:
print(f"請求失敗，狀態碼: {response.status_code}")
# 等待指定的時間間隔
time.sleep(interval)
# 測試
fetch_data("https://www.example.com", interval=2)輸出結果：
成功獲取數據: <html>
<head>
<title>Example Domain</title>3. 使用 User-Agent 模擬瀏覽器訪問
許多網站會根據 User-Agent 來判斷請求是否來自瀏覽器。如果你不設置 User-Agent，網站可能會拒絕你的請求。
示例代碼：
import requests
def fetch_data_with_user_agent(url):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
print("成功獲取數據:", response.text[:100])
else:
print(f"請求失敗，狀態碼: {response.status_code}")
# 測試
fetch_data_with_user_agent("https://www.example.com")輸出結果：
成功獲取數據: <html>
<head>
<title>Example Domain</title>4. 處理反爬蟲機制
一些網站會有反爬蟲機制，如驗證碼、滑動驗證等。處理這些機制可能需要使用更高級的技術，如 Selenium 或者 Puppeteer。
示例代碼（使用 Selenium）：
from selenium import webdriver
from selenium.webdriver.common.by import By
def fetch_data_with_selenium(url):
# 初始化 WebDriver
driver = webdriver.Chrome()
# 訪問目標 URL
driver.get(url)
# 獲取頁面內容
page_content = driver.page_source
print("成功獲取數據:", page_content[:100])
# 關閉瀏覽器
driver.quit()
# 測試
fetch_data_with_selenium("https://www.example.com")輸出結果：
成功獲取數據: <html>
<head>
<title>Example Domain</title>5. 存儲和管理數據
爬取的數據需要妥善存儲和管理。常見的存儲方式有 CSV 文件、數據庫等。選擇合適的存儲方式可以方便后續的數據分析和處理。
示例代碼（使用 CSV 文件存儲）：
import csv
import requests
def save_to_csv(data, filename):
with open(filename, mode='w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(["Title", "URL"])
for item in data:
writer.writerow([item['title'], item['url']])
def fetch_and_save_data(url, filename):
response = requests.get(url)
if response.status_code == 200:
# 假設返回的是 JSON 數據
data = response.json()
save_to_csv(data, filename)
print(f"數據已保存到 {filename}")
else:
print(f"請求失敗，狀態碼: {response.status_code}")
# 測試
fetch_and_save_data("https://api.example.com/data", "data.csv")輸出結果：
數據已保存到 data.csv實戰案例：爬取新聞網站的最新新聞
假設我們要爬取一個新聞網站的最新新聞，我們可以綜合運用上述的注意事項來完成任務。
示例代碼：
import requests
import time
import csv
from bs4 import BeautifulSoup
def fetch_news(url):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
# 假設新聞標題在 <h2> 標簽中，鏈接在 <a> 標簽的 href 屬性中
news_items = []
for item in soup.find_all('h2'):
title = item.text.strip()
link = item.find('a')['href']
news_items.append({"title": title, "url": link})
return news_items
else:
print(f"請求失敗，狀態碼: {response.status_code}")
return []
def save_news_to_csv(news, filename):
with open(filename, mode='w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(["Title", "URL"])
for item in news:
writer.writerow([item['title'], item['url']])
print(f"新聞已保存到 {filename}")
def main():
url = "https://news.example.com/latest"
news = fetch_news(url)
save_news_to_csv(news, "latest_news.csv")
if __name__ == "__main__":
main()輸出結果：
新聞已保存到 latest_news.csv總結
本文介紹了 Python 爬蟲開發的五個注意事項，包括尊重 robots.txt 文件、設置合理的請求間隔、使用 User-Agent 模擬瀏覽器訪問、處理反爬蟲機制以及存儲和管理數據。通過這些注意事項，你可以更高效、更安全地進行爬蟲開發。
責任編輯：趙寧寧
來源：
手把手PythonAI編程
