成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

手把手教你使用Python網絡爬蟲獲取招聘信息

開發 后端
現在在疫情階段,想找一份不錯的工作變得更為困難,很多人會選擇去網上看招聘信息。可是招聘信息有一些是錯綜復雜的。而且不能把全部的信息全部羅列出來,以外賣的58招聘網站來看,資料整理的不清晰。

1.前言

 

[[333120]]

現在在疫情階段,想找一份不錯的工作變得更為困難,很多人會選擇去網上看招聘信息。可是招聘信息有一些是錯綜復雜的。而且不能把全部的信息全部羅列出來,以外賣的58招聘網站來看,資料整理的不清晰。

 

2.項目目標

獲取招聘信息,并批量把地點、 公司名、工資 、下載保存在txt文檔。

3.項目準備

軟件:PyCharm

需要的庫:requests、lxml、fake_useragent

網站如下:

 

  1. https://gz.58.com/job/pn2/?param7503=1&from=yjz2_zhaopin&PGTID=0d302408-0000-3efd-48f6-ff64d26b4b1c&ClickID={} 

點擊下一頁時,ClickID={}每增加一頁自增加1,用{}代替變換的變量,再用for循環遍歷這網址,實現多個網址請求。

4.反爬措施

該網站上的反爬主要有兩點:

1、 直接使用requests庫,在不設置任何header的情況下,網站直接不返回數據

2、同一個ip連續訪問多次,直接封掉ip,起初我的ip就是這樣被封掉的。

為了解決這兩個問題,最后經過研究,使用以下方法,可以有效解決。

1、獲取正常的 http請求頭,并在requests請求時設置這些常規的http請求頭。

2、使用 fake_useragent ,產生隨機的UserAgent進行訪問。

5.項目實現

1、定義一個class類繼承object,定義init方法繼承self,主函數main繼承self。導入需要的庫和網址,代碼如下所示。

 

  1. import requests 
  2. from lxml import etree 
  3. from fake_useragent import UserAgent 
  4.  
  5.  
  6. class  Zhaopin(object): 
  7.     def __init__(self): 
  8.         self.url = "https://gz.58.com/job/pn2/?param7503=1&from=yjz2_zhaopin&PGTID=0d302408-0000-3efd-48f6-ff64d26b4b1c&ClickID={}"  # /zhuanchang/:搜索的名字的拼音縮寫 
  9.  
  10.     def main(self): 
  11.         pass 
  12.  
  13. if __name__ == '__main__'
  14.     Spider =  Zhaopin() 
  15.     Spider.main() 

2、隨機產生UserAgent。

 

  1. for i in range(1, 50): 
  2.     self.headers = { 
  3.         'User-Agent': ua.random, 
  4.     } 

3、發送請求,獲取響應, 頁面回調,方便下次請求。

 

  1. def get_page(self, url): 
  2.     res = requests.get(url=url, headers=self.headers) 
  3.     html = res.content.decode("utf-8"
  4.     return html 

4、xpath解析找到對應的父節點。

 

  1. def page_page(self, html): 
  2.     parse_html = etree.HTML(html) 
  3.     one = parse_html.xpath('//div[@class="main clearfix"]//div[@class="leftCon"]/ul/li'

5、for遍歷,定義一個變量food_info保存,獲取到二級頁面對應的菜 名、 原 料 、下 載 鏈 接。

 

  1. for l in one: 
  2.    o = l.xpath('.//a/span[1]/text()')[0].strip() 
  3.    t = l.xpath('.//a//span[@class="name"]/text()')[0].strip() 
  4.    f = l.xpath('.//p[@class="job_salary"]/text()'
  5.    thr = l.xpath('.//div[@class="comp_name"]//a/text()')[0].strip() 
  6.    for e in f: 
  7.        boss = ''
  8.  
  9. %s:||%s:  
  10. 公司:%s, 
  11. 工資:%s元/月 
  12. ========================================================= 
  13.                                ''' % (o, t, thr, e) 
  14.    print(str(boss) 

6、將結果保存在txt文檔中,如下所示。

 

  1. f = open('g.txt''a', encoding='utf-8')  # 以'w'方式打開文件 
  2. f.write(str(boss)) 
  3. # print(house_dict) 
  4. f.write("\n")  # 鍵和值分行放,鍵在單數行,值在雙數行 
  5. f.close() 

7、調用方法,實現功能。

 

  1. html = self.get_page(url) 
  2. self.page_page(html) 

6.效果展示

1、點擊綠色小三角運行輸入起始頁,終止頁。

 

 

 

 

2、運行程序后,結果顯示在控制臺,如下圖所示。

 

 

 

 

3、保存txt文檔到本地,如下圖所示。

 

 

 

 

4、雙擊文件,內容如下圖所示。

 

 

 

 

7.小結

1、不建議抓取太多數據,容易對服務器造成負載,淺嘗輒止即可。

2、本文章就Python爬取招聘網,在應用中出現的難點和重點,以及如何防止反爬,做出了相對于的解決方案。

3、介紹了如何去拼接字符串,以及列表如何進行類型的轉換。

4、代碼很簡單,希望能夠幫到你。

5、歡迎大家積極嘗試,有時候看到別人實現起來很簡單,但是到自己動手實現的時候,總會有各種各樣的問題,切勿眼高手低,勤動手,才可以理解的更加深刻。

6、可以選擇自己喜歡的分類,獲取工作,找到自己喜歡工作。

責任編輯:華軒 來源: Python爬蟲與數據挖掘
相關推薦

2021-07-14 09:00:00

JavaFX開發應用

2018-05-16 13:50:30

Python網絡爬蟲Scrapy

2018-05-16 15:46:06

Python網絡爬蟲PhantomJS

2025-05-07 00:31:30

2018-05-14 15:27:06

Python網絡爬蟲爬蟲架構

2018-05-14 16:34:08

Python網絡爬蟲Scrapy

2018-05-22 15:30:30

Python網絡爬蟲分布式爬蟲

2021-11-09 09:01:36

Python網絡爬蟲Python基礎

2021-05-10 06:48:11

Python騰訊招聘

2018-05-22 16:28:46

Python網絡爬蟲URL去重

2022-12-07 08:42:35

2021-01-30 10:37:18

ScrapyGerapy網絡爬蟲

2021-08-02 07:35:19

Nacos配置中心namespace

2021-04-01 09:02:38

Python小說下載網絡爬蟲

2011-01-10 14:41:26

2011-05-03 15:59:00

黑盒打印機

2021-09-01 14:49:48

curl2pypython工具

2021-11-25 08:11:47

JS網站信息

2020-08-12 09:07:53

Python開發爬蟲

2020-12-08 10:32:15

Python郵件tcp
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 九一国产精品 | 国产精品久久久久久久白浊 | 国产精品久久国产精品99 | 涩涩视频在线观看免费 | 日韩中文字幕网 | 国产一区二区欧美 | 午夜精品久久久久久久99黑人 | 欧美在线视频一区二区 | 成人免费xxxxx在线视频 | 成人免费网站www网站高清 | 亚洲小视频在线播放 | 久久久91精品国产一区二区三区 | 第一区在线观看免费国语入口 | 国产精品久久久久久久久久三级 | 武道仙尊动漫在线观看 | 国产97人人超碰caoprom | 天天色天天射天天干 | 国产精品资源在线观看 | 国产精品久久一区二区三区 | 精品国产18久久久久久二百 | 国产精品久久久久久久午夜片 | 国产一区 在线视频 | 亚洲精品久久久久中文字幕欢迎你 | 国产高清视频在线观看 | 日韩在线不卡 | 久久综合一区二区 | 成人在线电影网站 | 国产精品一区视频 | 日韩a在线| 欧美日韩中文国产一区发布 | 成人亚洲精品久久久久软件 | 亚洲精品视频在线观看免费 | 久久成人18免费网站 | 欧美成人精品在线 | 国产99精品 | 亚洲视频免费 | 久久99久久久久 | 亚洲国产成人精品女人久久久 | 精品国产91乱码一区二区三区 | 国产激情精品一区二区三区 | 久久久精彩视频 |