一件有趣的事：我用 Python 爬了爬自己的微信朋友

作者：Alfred 2017-07-12 10:25:17

最近幾天干啥都不來勁，昨晚偶然了解到 Python 里的 itchat 包，它已經(jīng)完成了 wechat 的個(gè)人賬號(hào) API 接口，使爬取個(gè)人微信信息更加方便。鑒于自己很早之前就想知道諸如自己微信好友性別比例都來自哪個(gè)城市之類的問題，于是乎玩心一起，打算爬一下自己的微信。

[[196608]]

首先，在終端安裝一下 itchat 包。

pip install itchat

安裝完成后導(dǎo)入包，再登陸自己的微信。過程中會(huì)生產(chǎn)一個(gè)登陸二維碼，掃碼之后即可登陸。登陸成功后，把自己好友的相關(guān)信息爬下來。

import itchat 
itchat.login() 
#爬取自己好友相關(guān)信息， 返回一個(gè)json文件 
friends = itchat.get_friends(update=True)[0:]

有了上面的 friends 數(shù)據(jù)，我們就可以來做分析啦。

自己微信好友的男女比例

仔細(xì)觀察了一下返回的數(shù)據(jù)結(jié)構(gòu)，發(fā)現(xiàn)”性別“是存放在一個(gè)字典里面的，key 是”Sex“，男性值為 1，女性為 2，其他是不明性別的(就是沒有填的)。可以寫個(gè)循環(huán)獲取想要的性別數(shù)據(jù)，得到自己微信好友的性別比例。

初始化計(jì)數(shù)器 
male = female = other = 0 
#friends[0]是自己的信息，所以要從friends[1]開始 
for i in friends[1:]: 
    sex = i["Sex"] 
    if sex == 1: 
        male += 1 
    elif sex == 2: 
        female += 1 
    else: 
        other +=1 
#計(jì)算朋友總數(shù) 
total = len(friends[1:]) 
#打印出自己的好友性別比例 
print("男性好友： %.2f%%" % (float(male)/total*100) + "\n" + 
"女性好友： %.2f%%" % (float(female) / total * 100) + "\n" + 
"不明性別好友： %.2f%%" % (float(other) / total * 100))

打印的結(jié)果為：

男性好友：37.65%

女性好友：59.23%

不明性別好友：3.12%

啊，一不小心就暴露了自己女性朋友比較多的事實(shí)。然而為什么我現(xiàn)在還是一只汪?!好了，再把這個(gè)數(shù)據(jù)用R畫成圖看看(Python 作圖真的是忍不了，代碼就不放了)：

自己微信好友的城市分布

再仔細(xì)觀察 friends 列表，發(fā)現(xiàn)里面還包含了好友昵稱、省份、城市、個(gè)人簡(jiǎn)介等等的數(shù)據(jù)，剛好可以用來分析好友城市分布，最好的方式是定義一個(gè)函數(shù)把數(shù)據(jù)都爬下來，存到數(shù)據(jù)框里，再進(jìn)行分析。

#定義一個(gè)函數(shù)，用來爬取各個(gè)變量 
def get_var(var): 
    variable = [] 
    for i in friends: 
        value = i[var] 
        variable.append(value) 
    return variable 
#調(diào)用函數(shù)得到各變量，并把數(shù)據(jù)存到csv文件中，保存到桌面 
NickName = get_var("NickName") 
Sex = get_var('Sex') 
Province = get_var('Province') 
City = get_var('City') 
Signature = get_var('Signature') 
from pandas import DataFrame 
data = {'NickName': NickName, 'Sex': Sex, 'Province': Province, 
        'City': City, 'Signature': Signature} 
frame = DataFrame(data) 
frame.to_csv('data.csv', index=True)

以上便得到一個(gè)叫 data 的 csv 桌面文件，用 R 打開并簡(jiǎn)單做一下數(shù)據(jù)預(yù)處理，得到如下(涉及隱私的已被預(yù)處理)：

接著先根據(jù)省份、城市進(jìn)行數(shù)據(jù)的分組和聚合，選擇排名前二十的，利用 ggplot2 包畫出如下的城市分布圖(代碼太長(zhǎng)，不放了，就是這么任性，有需要參考的直接向我拿)：

看來我大部分的朋友都是在廣東的(不是廢話嗎)，其中廣東的朋友大部分集中在廣、深、珠，第二名是在奧克蘭，接著是四川、澳門等。灰色的 NA 值是指沒有設(shè)置自己所在地的朋友，一共有 70 多人。

另外，在國(guó)外的朋友由于微信的設(shè)置問題(很多是直接跳過省份，只有城市可以選擇的)，很多國(guó)外的城市被誤當(dāng)成了省份。

再來一張圖看看自己微信朋友在廣東的具體分布(取前八)：

自己微信好友個(gè)性簽名的自定義詞云圖

好玩的來了。之前已經(jīng)爬下了每個(gè)好友的個(gè)性簽名，剛好可以分析一下大伙兒個(gè)性簽名時(shí)使用的高頻詞語是什么，順便可以做個(gè)詞云圖。

先把原先爬下來的個(gè)性簽名(Signature)打印出來，發(fā)現(xiàn)有很多本來是表情的，變成了 emoji、span、class 等等這些無關(guān)緊要的詞，需要先替換掉，另外，還有類似<>/= 之類的符號(hào)，也需要寫個(gè)簡(jiǎn)單的正則替換掉，再把所有拼起來，得到 text 字串。

import re 
siglist = [] 
for i in friends: 
    signature = i["Signature"].strip().replace("span","").replace("class","").replace("emoji","") 
    rep = re.compile("1f\d+\w*|[<>/=]") 
    signature = rep.sub("", signature) 
    siglist.append(signature) 
text = "".join(siglist)

接著就可以把 JB，啊不，把結(jié)巴分詞這個(gè)包搞進(jìn)來分詞。

import jieba 
wordlist = jieba.cut(text, cut_all=True) 
word_space_split = " ".join(wordlist)

終于可以進(jìn)入畫圖階段了。可以根據(jù)自己想要的圖片、形狀、顏色畫出相似的圖形(在這里，我使用的是我的頭像，當(dāng)然，為了顏色可以更加鮮艷使最后畫出的詞云圖更加好看易辨，我先對(duì)自己的頭像用 PS 做了一點(diǎn)小處理)。為此，我們需要把 matplotlib、wordcloud、numpy、PIL 等包搞進(jìn)來。

import matplotlib.pyplot as plt 
from wordcloud import WordCloud, ImageColorGenerator 
import numpy as np 
import PIL.Image as Image 
coloring = np.array(Image.open("/Users/apple/Desktop/wechat.jpg")) 
my_wordcloud = WordCloud(background_color="white", max_words=2000, 
                         mask=coloring, max_font_size=60, random_state=42, scale=2, 
                         font_path="/Library/Fonts/Microsoft/SimHei.ttf").generate(word_space_split) 
 
image_colors = ImageColorGenerator(coloring) 
plt.imshow(my_wordcloud.recolor(color_func=image_colors)) 
plt.imshow(my_wordcloud) 
plt.axis("off") 
plt.show()