[[411117]]

Hello，大家好。我叫“小屁孩i”。

前言

不知道大伙有沒有看到過這一句話：“中國(疫苗研發(fā))非常困難，因?yàn)樵谥袊覀儧]有辦法做第三期臨床試驗(yàn)，因?yàn)闆]有病人了。”這句話是中國工程院院士鐘南山在上海科技大學(xué)2021屆畢業(yè)典禮上提出的。這句話在全網(wǎng)流傳，被廣大網(wǎng)友稱之為“凡爾賽”發(fā)言。

今天讓我們用數(shù)據(jù)來看看這句話是不是“凡爾賽”本賽。在開始之前我們先來說說今天要用到的python庫吧!

1.數(shù)據(jù)獲取部分

requests lxml json openpyxl 

2.數(shù)據(jù)可視化部分

pandas pyecharts(可視化庫) 

以上的庫都可以通過在線下載：

pip instll xx 

ps：如果下載速度太慢的話也可以用國內(nèi)鏡像，使用命令，例如：

pip install xx(庫名) -i https://pypi.tuna.tsinghua.edu.cn/simple gevent(清華鏡像) 

現(xiàn)在一起進(jìn)入今天的代碼部分吧!!!

數(shù)據(jù)獲取

目標(biāo)地址：

https://voice.baidu.com/act/newpneumonia/newpneumonia

進(jìn)入目標(biāo)地址我們可以看到如下所示：

現(xiàn)在讓我們一起去解析網(wǎng)頁結(jié)構(gòu)找到我們要爬取到的數(shù)據(jù)如下所示：

現(xiàn)在我們找到想要的頁面數(shù)據(jù)接下來就是通過Python來獲取這些數(shù)據(jù)了，上代碼：

import requests 
from lxml import etree 
import json 
import openpyxl 
 
#通用爬蟲 
url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia' 
headers = { 
    "User-Agent": ".....(換成自己的)" 
} 
response = requests.get(url=url,headers=headers).text 
#在使用xpath的時(shí)候要用樹形態(tài) 
html = etree.HTML(response) 
#用xpath來獲取我們之前找到的頁面json數(shù)據(jù)  并打印看看 
json_text = html.xpath('//script[@type="application/json"]/text()') 
json_text = json_text[0] 
# print(json_text) 

之后我們來解析一下json數(shù)據(jù)，上代碼：

#用python本地自帶的庫轉(zhuǎn)換一下json數(shù)據(jù) 
result = json.loads(json_text) 
# print(result) 
#通過打印出轉(zhuǎn)換的對象我們可以看到我們要的數(shù)據(jù)都要key為component對應(yīng)的值之下  所以現(xiàn)在我們將值拿出來 
result = result["component"] 
#再次打印看看結(jié)果 
# print(result) 
# 獲取國內(nèi)當(dāng)前數(shù)據(jù) 
result = result[0]['caseList'] 
# print(result) 

接著我們將獲取到的數(shù)據(jù)保存到excel中，上代碼:

# 創(chuàng)建工作簿 
wb = openpyxl.Workbook() 
# 創(chuàng)建工作表 
ws = wb.active 
# 設(shè)置表的標(biāo)題 
ws.title = "國內(nèi)疫情" 
# 寫入表頭 
ws.append(["省份","累計(jì)確診","死亡","治愈"]) 
#獲取各省份的數(shù)據(jù)并寫入 
for line in result: 
    line_name = [line["area"],line["confirmed"],line["died"],line["crued"]] 
    for ele in line_name: 
        if ele == '': 
            ele = 0 
    ws.append(line_name) 
#保存到excel中 
wb.save('./china.xlsx') 

最后我們查看一下獲取到的數(shù)據(jù)是什么樣的，如圖：

emmmm，終于我們把數(shù)據(jù)獲取部分完成了，第二部分的數(shù)據(jù)可視化來了!!!

數(shù)據(jù)可視化

這次我們用到的庫是pyecharts里面的Map，我們先展示一下本次可視化用到的庫

#可視化部分 
import pandas  as pd 
from pyecharts.charts import Map,Page 
from pyecharts import options as opts 

首先我們要先通過pandas庫來獲取到剛才我們爬取到的數(shù)據(jù)，上代碼：

# 設(shè)置列對齊 
pd.set_option('display.unicode.ambiguous_as_wide', True) 
pd.set_option('display.unicode.east_asian_width', True) 
# 打開文件 
df = pd.read_excel('china.xlsx') 
# 對省份進(jìn)行統(tǒng)計(jì) 
data2 = df['省份'] 
data2_list = list(data2) 
data3 = df['累計(jì)確診'] 
data3_list = list(data3) 
data4 = df['死亡'] 
data4_list = list(data4) 
data5 = df ['治愈'] 
data5_list = list(data5) 

接著我們來做數(shù)據(jù)可視化，將在我國地圖上的各個(gè)省份顯示出對應(yīng)的數(shù)值

我們以疫情發(fā)生以來治愈數(shù)為例，上代碼：

c = ( 
    Map() 
        .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
c.render() 

當(dāng)然僅僅一個(gè)治愈情況當(dāng)然說明不了什么，所以我們將三種情況都以這種形式顯示出來，上代碼：

a = ( 
    Map() 
        .add("累計(jì)確診", [list(z) for z in zip(data2_list, data3_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
 
b = ( 
    Map() 
        .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
 
c = ( 
    Map() 
        .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
 
page = Page(layout=Page.DraggablePageLayout) 
page.add( 
    a, 
    b, 
    c, 
) 
# 先生成render.html文件 
page.render() 

當(dāng)然如果是直接運(yùn)行代碼的話展現(xiàn)出來的地圖不是這樣的，這個(gè)是通過后期的排版來完成的。那么在最后我們來說說是怎么排版的吧。

首先你先將上面的代碼運(yùn)行之后會產(chǎn)生一個(gè)render.html的文件然后你打開文件之后可以調(diào)整整個(gè)頁面的布局，根據(jù)自己的喜歡來調(diào)整，接著點(diǎn)擊左上角的“Save Config”將這個(gè)json文件保存到跟render.html這個(gè)文件同一個(gè)路徑之下，最后運(yùn)行一下代碼：

#完成上一步之后把 page.render()這行注釋掉 
# 然后循行這下面 
Page.save_resize_html("render.html", 
    cfg_file="chart_config.json", 
    dest="my_test.html") 

這樣以后會產(chǎn)生一個(gè)my_test.html這個(gè)文件就是我們上面展示的那樣啦。

結(jié)束語

以上就是我們這次的結(jié)果。從數(shù)據(jù)的獲取到數(shù)據(jù)可視化，怎么說呢pyecharts還具有其他強(qiáng)大的可視化功能。