用Python爬取了某寶1166家月餅數(shù)據(jù)進行可視化分析，終于找到最好吃的月餅~

作者：志斌 2022-09-06 08:01:23

數(shù)據(jù)采集是數(shù)據(jù)可視化分析的第一步，也是最基礎(chǔ)的一步，數(shù)據(jù)采集的數(shù)量和質(zhì)量越高，后面分析的準(zhǔn)確的也就越高，我們來看一下淘寶網(wǎng)的數(shù)據(jù)該如何爬取。

大家好，我是志斌~

在有幾天就是中秋節(jié)了，不知道大家有沒有跟志斌一樣的選擇困難癥，面對琳瑯滿目的商品，不知道挑哪款月餅送長輩最好。

不過好在志斌會Python，將淘寶上的月餅商品都爬取了下來，并進行可視化分析，從而你看看哪款月餅是最合適的。

1.數(shù)據(jù)采集

淘寶網(wǎng)站是一個動態(tài)加載的網(wǎng)站，我們之前可以采用解析接口或者用Selenium自動化測試工具來爬取數(shù)據(jù)，但是現(xiàn)在淘寶對接口進行了加密，使我們很難分析出來其中的規(guī)律，同時淘寶也對Selenium進行了反爬限制，所以我們要換種思路來進行數(shù)據(jù)獲取。

志斌打開開發(fā)者模式，開始對網(wǎng)頁進行觀察后發(fā)現(xiàn)，淘寶商品的數(shù)據(jù)竟然在源網(wǎng)頁中以注釋的方式存儲著。

已經(jīng)發(fā)現(xiàn)了數(shù)據(jù)存儲的位置和方式，那我們可以直接構(gòu)建爬蟲了，部分代碼如下：

import requests
import re
import openpyxl
response = requests.get(url, headers=headers, params=params)for i in range(44):
try:
     if (fukuanrenshu[i] == '1.5萬+'):
         f = 15000
     elif (fukuanrenshu[i] == '1.0萬+'):
         f = 10000
     elif ('+'in fukuanrenshu[i]):
         f = re.findall('\d+', fukuanrenshu[i])
     else:
         f = fukuanrenshu[i]
     if float(jiage[i]) > 10:
         sheet.append([dianpumingcheng[i], shangpinming[i], float(jiage[i]), fahuodi[i], f])

2.數(shù)據(jù)清洗

數(shù)據(jù)采集后，要對其進行清洗，剔除臟數(shù)據(jù)，有助于提高分析的準(zhǔn)確性。

(1)導(dǎo)入商品數(shù)據(jù)

用pandas讀取爬取后的商品數(shù)據(jù)并預(yù)覽。

import pandas as pd
df = pd.read_excel('月餅.xlsx',names=['店鋪名稱','商品名','價格','產(chǎn)地','付款人數(shù)'])
print(df.head())

(2)刪除重復(fù)數(shù)據(jù)

df.drop_duplicates()

(3)查看數(shù)據(jù)類型

查看字段類型和缺失值情況，符合分析需要，無需另做處理。

df.info()

3.可視化分析

我們來對這1166家月餅商品數(shù)據(jù)進行可視化分析。可視化圖是由Python、Tableau和Excel共同繪制而來。

(1)在售月餅的特點

通過對月餅的商品名稱進行詞云圖繪制，志斌發(fā)現(xiàn)蛋黃、廣式、五仁、蓮蓉、豆沙味的月餅售賣較多，同時淘寶上售賣的月餅大多是用來給人們送禮的。

制作代碼如下：

from imageio import imread
import jieba
from wordcloud import WordCloud, STOPWORDS

with open("1.txt",'r',encoding='utf-8') as f:
  job_title_1 = f.read()
contents_cut_job_title = jieba.cut(job_title_1)
contents_list_job_title = " ".join(contents_cut_job_title)
wc = WordCloud(stopwords=STOPWORDS.add("一個"), collocations=False,
             background_color="white",
             font_path=r"K:\msyh.ttc",
             width=400, height=300, random_state=42,
             mask=imread('月餅.jpg', pilmode="RGB")
             )
wc.generate(contents_list_job_title)
wc.to_file("推薦語.png")

(2)各省產(chǎn)量分布圖

通過對各商品的產(chǎn)地數(shù)據(jù)進行統(tǒng)計并繪制了全國地圖，我們發(fā)現(xiàn)廣東、浙江和北京這三個地方生產(chǎn)月餅最多，分別是312家、221家和131家。

制作代碼如下：

import openpyxl
from collections import Counter
from pyecharts import Map
wb = openpyxl.load_workbook('月餅.xlsx')
sheet = wb['Sheet']
a = []
for i in range(2,1960):
  D = sheet[f'D{i}']
  a.append(D.value)
province_distribution = dict(Counter(a))
provice = list(province_distribution.keys())
values = list(province_distribution.values())
map = Map("中國地圖",width=1200, height=600)
map.add("", provice, values, visual_range=[0, 50], maptype='china', is_visualmap=True,
visual_text_color='#000',is_label_show=True)
map.render(path="地圖.html")