成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

菜比肉貴?用 Python 采集蔬菜與肉類商品歷史價格,帶你了解了解~

開發 后端
前段時間,菜市場出現了一個奇特的現場:菜比肉貴!以北京為例,像豬肉的價格基本上從年初的25塊/斤逐步下降到現在的10塊/斤。

[[432406]]

大家好,我是才哥。

前段時間,菜市場出現了一個奇特的現場:菜比肉貴!

以北京為例,像豬肉的價格基本上從年初的25塊/斤逐步下降到現在的10塊/斤。

豬肉價格走勢

而一些蔬菜比如油麥菜從年初的2.5元/斤到現在的4.5元/斤,高的時候能有8元/斤;再比如菠菜從年初的1.7元/斤到現在的4元/斤,高的時候也能到7-8元/斤。

油麥菜價格走勢

廣大網友直呼:以前沒錢吃肉,現在沒錢吃菜!

我們知道前年 50塊一斤豬肉(也是離譜),現在可以買5斤,于是就有了下面這張對比圖:

以前沒錢吃肉,現在沒錢吃菜

那么,蔬菜價格目前到底是什么情況呢?全年一般又是什么樣的走勢呢?

今天,我們就用Python采集一下北京新發地菜市場的價格行情來一起了解下!

1. 網頁分析

目標網站:北京新發地

網址信息:http://www.xinfadi.com.cn/priceDetail.html

我們通過翻頁(下一頁)查看后續數據,但是發現地址欄url沒變,所以是動態加載的,那么老規矩:F12開發者模式—>Network—>XHR,然后翻頁可以找到數據請求信息如下:

最終,我們確認請求接口地址及請求方式與信息如下:

請求類型:post

  1. url = r'http://www.xinfadi.com.cn/getPriceData.html' 
  2. # 請求參數如下,其中page為頁碼 
  3. FormData={ 
  4.         'limit': 20, 
  5.         'current': page, 
  6.         'pubDateStartTime''2021/01/01'
  7.         'pubDateEndTime''2021/10/30'
  8.         'prodPcatid':''
  9.         'prodCatid':''
  10.         'prodName':''
  11.         } 

確定以上信息后,我們就可以簡單的寫代碼進行數據采集了!

2. 數據采集

由于請求到的數據是json格式,比較好處理,我們直接上代碼(完整代碼)。

如果對代碼不是很了解,可以加筆者好友或者加咱們交流群討論!

  1. import requests 
  2. import pandas as pd 
  3. from tqdm import tqdm 
  4.  
  5. headers = { 
  6.     "Accept-Encoding""Gzip",  
  7.     "User-Agent""Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"
  8.     } 
  9. dfList = [] 
  10. url = r'http://www.xinfadi.com.cn/getPriceData.html' 
  11. for page in tqdm(range(1,5373)): 
  12.     FormData={ 
  13.         'limit': 20, 
  14.         'current': page, 
  15.         'pubDateStartTime''2021/01/01'
  16.         'pubDateEndTime''2021/10/30'
  17.         'prodPcatid':''
  18.         'prodCatid':''
  19.         'prodName':''
  20.         } 
  21.      
  22.     r = requests.post(url, data=FormData, headers=headers) 
  23.     data = r.json() 
  24.     dataList = data['list'
  25.     df = pd.DataFrame(dataList) 
  26.     dfList.append(df) 
  27.      
  28. df = pd.concat(dfList) 
  29. df.to_excel(r'菜品歷史價格行情.xlsx',index=None) 

采集進度

可以看到,其實該網站并沒有反爬,但是我們用最簡單的這種采集方式花了2小時23分鐘,屬實有點久。

那么怎么可以加速呢?進程、線程與攜程等方式可以加速,關于這方面的知識與應用我們會在后續進行專題介紹哈,這里先預告一下。

最終,我們采集到10萬多條數據如下:

數據預覽

 

以上就是本次全部內容,由于菜品類型較多,這里不做展開處理,大家可以自行下載研究哈。

 

責任編輯:武曉燕 來源: 可以叫我才哥
相關推薦

2023-11-06 13:08:45

2022-10-24 08:45:23

數據庫應用場景區塊鏈

2018-11-13 09:56:52

TomcatServerWeb應用服務器

2022-08-29 10:57:09

語音識蘋果頻率

2021-06-07 07:59:37

MySQL 全局鎖線程

2023-11-29 13:51:00

2018-02-05 10:07:33

操作系統LinuxUnix

2019-03-26 10:50:22

Python面向對象編程語言

2022-09-26 11:30:40

MQTT協議客戶端協議

2019-09-27 09:40:06

ElvishShellLinux

2010-07-05 16:20:32

NetBEUI協議

2023-11-02 16:51:07

Python代碼

2024-02-19 08:40:22

2023-12-14 12:55:41

Pythondel語句

2019-10-23 11:24:44

LinuxLinux目錄Linux系統

2023-11-06 17:37:17

技術架構任務隊列

2020-12-31 12:16:49

SAP云計算SAP產品

2021-02-03 16:22:43

新基建SAP

2021-05-31 14:22:56

物聯網物聯網安全

2010-09-02 16:59:35

資源預留協議
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 免费一区二区三区 | 超碰97人人人人人蜜桃 | 999视频 | 久久久久国产精品一区二区 | 中文字幕视频在线观看 | 日韩一区二区三区在线观看 | 天堂资源视频 | 日本淫视频 | 久久三区| 精品久久久久一区 | 国产第一页在线观看 | 亚洲毛片在线观看 | 一区二区三区视频在线 | 国产激情片在线观看 | 亚洲高清免费观看 | 欧美一级全黄 | 国产精品久久 | 91精品久久久久久久久 | 欧美一区视频 | 涩涩视频网 | 人人草人人干 | 国产午夜在线观看 | 国产成人精品a视频 | 欧美色图另类 | 亚洲国产精品一区二区第一页 | 国产亚洲欧美在线视频 | 国产91在线播放精品91 | 成人黄色在线视频 | 欧州一区二区 | 一区二区三区精品 | www久久久 | 一区二区久久 | 女女百合av大片一区二区三区九县 | 婷婷福利| 男女羞羞在线观看 | 欧美久久精品一级黑人c片 91免费在线视频 | 日本不卡一区二区三区在线观看 | 国产片网站 | 天天躁日日躁aaaa视频 | 一区二区电影网 | 日韩欧美精品一区 |