Python爬蟲遇到驗證碼的幾種處理方式，文章末尾有源碼
作者：青燈教育Python學院
本篇文章介紹了爬蟲中驗證碼的處理方式， 并把這些功能封裝起來，供我們使用， 涉及到百度AIP的調用方式， 以及一個最新的開源庫muggle識別庫的使用。
最近事情其實挺多了，打了一下藍橋杯的比賽， 還在準備著一些證書的考試， 關于爬蟲之類的博客都擱著了一段時間了， 關于我自己確實有點退步了， 實屬不該， 其實我自己也是在想， 大三了，到底我是要去考研，還是依然像這樣更新換代的學技術， 再或者， 繼續鉆爬蟲這路子， 雖然我也不知道這路走的順不順， 自己也有點抓不住光明， 這段時間，大概花了一個多月的晚上吧， 終于把Django 的大致過了一次， 剩下的就是對著官方文檔和一些實際項目操作了， 這些我也會打算開一個專欄，來專門記錄一下我學習Django 的一些心酸道路， 學習依舊是這樣， 你不學習，就會失去， 很是莫名其妙， 真的很奇怪， 某人的獎學金是靠關系的， 某項目的獲獎者僅僅只是臨時換了一個名字，。。。
不管這些了，無所謂的東西， 這邊博客，將處理圖片驗證碼的2個比較優秀的方式進行了一次封裝, 分別是百度的aip 和 一個最近火起來的識別muggle-ocr
這里要主要提一下百度的aip，這里面的東西是真的多， 我還擴展了一個識別色情圖片的函數， 有興趣的可以玩一玩， 另外 學了爬蟲之后， 這些圖片真的是應接不暇， 網站也是多的數不勝數， 希望凈網行動加把勁， 剩下的就不比比了， 看實際操作吧。
本篇文章介紹了爬蟲中驗證碼的處理方式， 并把這些功能封裝起來，供我們使用， 涉及到百度AIP的調用方式， 以及一個最新的開源庫muggle識別庫的使用。
目錄：
- 學會調用百度的aip接口：
- 擴展百度的色情識別接口：
- 學會muggle_ocr 識別接口：
封裝源碼：
學會調用百度的aip接口：
- 1. 首先需要注冊一個賬號：
- https://login.bce.baidu.com/
注冊完成之后登入
2. 創建項目
在這些技術里面找到文字識別，然后點擊創建一下項目
創建完成之后：
圖片中 AppID , API key, Secret Key 這些待會是需要用的。
下一步可以查看官網文檔，或者直接使用我寫的代碼
3. 安裝一下依賴庫 pip install baidu-aip
這只是一個接口， 需要前面的一些設置。
- def return_ocr_by_baidu(self, test_image):
- """
- ps: 先在__init__ 函數中完成你自己的baidu_aip 的一些參數設置
- 這次測試使用 高精度版本測試
- 如果速度很慢 可以換回一般版本
- self.client.basicGeneral(image, options)
- 相關參考網址:
- https://cloud.baidu.com/doc/OCR/s/3k3h7yeqa
- :param test_image: 待測試的文件名稱
- :return: 返回這個驗證碼的識別效果 如果錯誤 可以多次調用
- """
- image = self.return_image_content(test_image=self.return_path(test_image))
- # 調用通用文字識別（高精度版）
- # self.client.basicAccurate(image)
- # 如果有可選參數 相關參數可以在上面的網址里面找到
- options = {}
- options["detect_direction"] = "true"
- options["probability"] = "true"
- # 調用
- result = self.client.basicAccurate(image, options)
- result_s = result['words_result'][0]['words']
- # 不打印關閉
- print(result_s)
- if result_s:
- return result_s.strip()
- else:
- raise Exception("The result is None , try it !")
擴展百度的色情識別接口：
我們寫代碼肯定是要找點樂子的， 不可能這么枯燥無味吧?
色情識別接口在 內容審核中， 找一下就可以了。
調用方式源碼：
- # -*- coding : utf-8 -*-
- # @Time : 2020/10/22 17:30
- # @author : 沙漏在下雨
- # @Software : PyCharm
- # @CSDN : https://me.csdn.net/qq_45906219
- from aip import AipContentCensor
- from ocr import MyOrc
- class Auditing(MyOrc):
- """
- 這是一個調用百度內容審核的aip接口
- 主要用來審核一些色情 反恐 惡心 之類的東西
- 網址: https://ai.baidu.com/ai-doc/ANTIPORN/tk3h6xgkn
- """
- def __init__(self):
- # super().__init__()
- APP_ID = '填寫你的ID'
- API_KEY = '填寫你的KEY'
- SECRET_KEY = '填寫你的SECRET_KEY'
- self.client = AipContentCensor(APP_ID, API_KEY, SECRET_KEY)
- def return_path(self, test_image):
- return super().return_path(test_image)
- def return_image_content(self, test_image):
- return super().return_image_content(test_image)
- def return_Content_by_baidu_of_image(self, test_image, mode=0):
- """
- 繼承ocr中的一些方法， 因為都是放一起的 少些一點代碼
- 內容審核: 關于圖片中是否存在一些非法不良信息
- 內容審核還可以實現文本審核 我覺得有點雞肋 就沒一起封裝進去
- url: https://ai.baidu.com/ai-doc/ANTIPORN/Wk3h6xg56
- :param test_image: 待測試的圖片 可以本地文件 也可以網址
- :param mode: 默認 = 0 表示 識別的本地文件 mode = 1 表示識別的圖片網址連接
- :return: 返回識別結果
- """
- if mode == 0:
- filepath = self.return_image_content(self.return_path(test_image=test_image))
- elif mode == 1:
- filepath = test_image
- else:
- raise Exception("The mode is 0 or 1 but your mode is ", mode)
- # 調用色情識別接口
- result = self.client.imageCensorUserDefined(filepath)
- # """ 如果圖片是url調用如下 """
- # result = self.client.imageCensorUserDefined('http://www.example.com/image.jpg')
- print(result)
- return result
- a = Auditing()
- a.return_Content_by_baidu_of_image("test_image/2.jpg", mode=0)
學會muggle_ocr 識別接口：
這個包是最近火起來的， 使用起來很簡單， 沒多少其他函數
- 安裝 pip install muggle-ocr 這個下載有點慢 最好使用手機熱點 目前鏡像網站(清華/阿里) 還沒有更新到這個包 因為這個包是最新的一個ocr模型 12
- 調用接口
- def return_ocr_by_muggle(self, test_image, mode=1):
- """
- 調用這個函數使用 muggle_ocr 來進行識別
- :param test_image 待測試的文件名稱 最好絕對路徑
- :param 模型 mode = 0 即 ModelType.OCR 表示識別普通印刷文本
- 當 mode = 1 默認 即 ModelType.Captcha 表示識別4-6位簡單英輸驗證碼
- 官方網站: https://pypi.org/project/muggle-ocr/
- :return: 返回這個驗證碼的識別結果 如果錯誤 可以多次調用
- """
- # 確定識別物品
- if mode == 1:
- sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.Captcha)
- elif mode == 0:
- sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.OCR)
- else:
- raise Exception("The mode is 0 or 1 , but your mode == ", mode)
- filepath = self.return_path(test_image=test_image)
- with open(filepath, 'rb') as fr:
- captcha_bytes = fr.read()
- result = sdk.predict(image_bytes=captcha_bytes)
- # 不打印關閉
- print(result)
- return result.strip()
封裝源碼：
- # -*- coding : utf-8 -*-
- # @Time : 2020/10/22 14:12
- # @author : 沙漏在下雨
- # @Software : PyCharm
- # @CSDN : https://me.csdn.net/qq_45906219
- import muggle_ocr
- import os
- from aip import AipOcr
- """
- PS: 這個作用主要是作了一個封裝 把2個常用的圖片/驗證碼識別方式合在一起 怎么用 取決于自己
- 接口1: muggle_ocr
- pip install muggle-ocr 這個下載有點慢 最好使用手機熱點
- 目前鏡像網站(清華/阿里) 還沒有更新到這個包 因為這個包是最新的一個ocr模型
- 接口2: baidu-aip
- pip install baidu-aip
- 這個知道的人應該很多很多， 但是我覺得還是muggle 這個新包猛的一比
- 調用方式 可以參考官網文檔: https://cloud.baidu.com/doc/OCR/index.html
- 或者使用我如下的方式 都是ok的
- :param image_path 待識別的圖片路徑 如果目錄很深 推薦使用絕對路徑
- """
- class MyOrc:
- def __init__(self):
- # 設置一些必要信息 使用自己百度aip的內容
- APP_ID = '你的ID'
- API_KEY = '你的KEY'
- SECRET_KEY = '你的SECRET_KEY'
- self.client = AipOcr(APP_ID, API_KEY, SECRET_KEY)
- def return_path(self, test_image):
- """:return abs image_path"""
- # 確定路徑
- if os.path.isabs(test_image):
- filepath = test_image
- else:
- filepath = os.path.abspath(test_image)
- return filepath
- def return_image_content(self, test_image):
- """:return the image content """
- with open(test_image, 'rb') as fr:
- return fr.read()
- def return_ocr_by_baidu(self, test_image):
- """
- ps: 先在__init__ 函數中完成你自己的baidu_aip 的一些參數設置
- 這次測試使用 高精度版本測試
- 如果速度很慢 可以換回一般版本
- self.client.basicGeneral(image, options)
- 相關參考網址:
- https://cloud.baidu.com/doc/OCR/s/3k3h7yeqa
- :param test_image: 待測試的文件名稱
- :return: 返回這個驗證碼的識別效果 如果錯誤 可以多次調用
- """
- image = self.return_image_content(test_image=self.return_path(test_image))
- # 調用通用文字識別（高精度版）
- # self.client.basicAccurate(image)
- # 如果有可選參數 相關參數可以在上面的網址里面找到
- options = {}
- options["detect_direction"] = "true"
- options["probability"] = "true"
- # 調用
- result = self.client.basicAccurate(image, options)
- result_s = result['words_result'][0]['words']
- # 不打印關閉
- print(result_s)
- if result_s:
- return result_s.strip()
- else:
- raise Exception("The result is None , try it !")
- def return_ocr_by_muggle(self, test_image, mode=1):
- """
- 調用這個函數使用 muggle_ocr 來進行識別
- :param test_image 待測試的文件名稱 最好絕對路徑
- :param 模型 mode = 0 即 ModelType.OCR 表示識別普通印刷文本
- 當 mode = 1 默認 即 ModelType.Captcha 表示識別4-6位簡單英輸驗證碼
- 官方網站: https://pypi.org/project/muggle-ocr/
- :return: 返回這個驗證碼的識別結果 如果錯誤 可以多次調用
- """
- # 確定識別物品
- if mode == 1:
- sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.Captcha)
- elif mode == 0:
- sdk = muggle_ocr.SDK(model_type=muggle_ocr.ModelType.OCR)
- else:
- raise Exception("The mode is 0 or 1 , but your mode == ", mode)
- filepath = self.return_path(test_image=test_image)
- with open(filepath, 'rb') as fr:
- captcha_bytes = fr.read()
- result = sdk.predict(image_bytes=captcha_bytes)
- # 不打印關閉
- print(result)
- return result.strip()
- # a = MyOrc()
- # a.return_ocr_by_baidu(test_image='test_image/digit_img_1.png')
責任編輯：未麗燕
來源：
今日頭條
