一、描述性統(tǒng)計分析

Excel里可以用【數(shù)據(jù)分析】功能里的【描述統(tǒng)計】功能來查看數(shù)據(jù)集常用的統(tǒng)計指標，但這里只能是對數(shù)值型的數(shù)據(jù)進行統(tǒng)計。

pandas里可以用describe方法對整個數(shù)據(jù)集做一個描述性統(tǒng)計分析，當然這里也只是對數(shù)值型數(shù)據(jù)才可以出結果，非數(shù)值型數(shù)據(jù)不在統(tǒng)計范圍內(nèi)。

# 描述性統(tǒng)計分析 
df_list.describe() 

得到結果如下，可以看到count(計數(shù))、mean(均值)、std(標準差)、min(最小值)、max(最大值)、25%、50%、75%分別表示3/4位數(shù)、中位數(shù)和1/4位數(shù)。

行列轉置

由于字段太多了，所以這里可以轉置一下，方便查看，用.T轉置

# 行列轉置 
df_list.describe().T 

結果如圖，更符合一個表格的習慣，可以看到能夠被統(tǒng)計出來的只有數(shù)值型數(shù)據(jù)，字符型的數(shù)據(jù)是統(tǒng)計不出來的。

觀察到最小入住天數(shù)(minimum_nights)這個字段最小值、1/4位數(shù)、中位數(shù)、3/4位數(shù)都是1，說明大部分房源對最小入住天數(shù)的要求都是1天。同樣的結論適用于每月評論數(shù)(reviews_per_month)這個字段。

二、分組分析

Excel里用數(shù)據(jù)透視表可以實現(xiàn)數(shù)據(jù)分組計算的功能。

看下neighborhood_new字段都有哪些值，用value_counts方法對出現(xiàn)次數(shù)計數(shù)

# 數(shù)值計數(shù) 
df_list["neighborhood_new"].value_counts() 

結果可以看到neighborhood_new字段下總共有多少個區(qū)縣分類及其出現(xiàn)的次數(shù)按降序排列下來了，可以看到朝陽區(qū)的房源最多，平谷區(qū)的房源最少。

還可以用groupby方法實現(xiàn)分組計數(shù)

# 分組 
df_list.groupby("neighborhood_new")["neighborhood_new"].count() 

得到的結果是一樣的

對room_type_new一列也可以分組看下結果

df_list["room_type_new"].value_counts() 

可以看到房間類型上有3種分類，整套房源(Entire home)最多，合租型的房源(Shared room)最少。

三、交叉分析

對區(qū)域分組，統(tǒng)計不同區(qū)域房價的水平，同樣用groupby方法分組，但是可以用agg方法一次使用多種匯總方式。

df_list.groupby("neighborhood_new")["price"].agg(["max","min","mean","count"]) 

結果如圖，對neighborhood_new字段分組，對分組后的價格求最大最小平均值并計數(shù)，可以看到懷柔區(qū)的房價平均值最高，豐臺區(qū)最低。

對房間類型分組，并將結果按均值降序排列

r_p = df_list.groupby("room_type_new")["price"].agg(["max","min","mean","count"]).reset_index() 
r_p.sort_values("mean",ascending = False) 

結果如圖，整租的房價均值最高，合租最低，很合理的結果。

透視

對房間類型和區(qū)域做一個透視，使用pivot_table方法，和Excel里的數(shù)據(jù)透視表是一種類型的操作，第一個參數(shù)是要透視的數(shù)據(jù)，values參數(shù)是Excel透視表中的值區(qū)域，即要進行匯總的字段，index參數(shù)是Excel透視表中的行區(qū)域，columns參數(shù)是列區(qū)域，aggfuc參數(shù)是要對values進行匯總的類型。

pd.pivot_table(df_list,values = "price",index = "neighborhood_new", 
                columns = "room_type_new",aggfunc = "mean",margins = True) 

結果如圖，可以看到整租、合租、單間在各個區(qū)域中的價格分布。

四、相關性分析

相關性分析是用來描述變量之間相關關系的結果，用相關系數(shù)r來表示，r>0表示正相關，r<0表示負相關，r的絕對值越接近1，表示越高度相關。Excel里用【數(shù)據(jù)分析】工具里的【相關系數(shù)】功能可以直接計算出各個字段的相關系數(shù)。

python里可以用corr函數(shù)計算數(shù)據(jù)間的相關系數(shù)，對整個數(shù)據(jù)表計算，并對結果取小數(shù)點后4位

# 計算相關系數(shù) 
df_list.corr().round(4) 

結果如下，就可以得到各個列之間的相關系數(shù)。

但是這里我們其實最關注的是他們同價格之間的相關性，也就是圖中標紅的部分，可以對這列的數(shù)值排個序。

數(shù)值排序

數(shù)值排序就是讓整個數(shù)據(jù)表按照指定列升序或降序排列，用到sort_values方法。對求完相關系數(shù)后的數(shù)據(jù)框選擇其price列進行降序，第一個參數(shù)是對哪一列進行排序，第二個參數(shù)ascending = False是降序排列，默認是True升序。

# 數(shù)值排序 
corr_p = df_list.corr().round(4) 
corr_p["price"].sort_values(ascending = False) 

結果如下，可以看到，房價和經(jīng)緯度(latitude、longitude)的相關性是最高的，除此以外相比其他變量，可預定天數(shù)(availability_365)和價格最正相關的，其次每月評論數(shù)量(reviews_per_month)和價格呈負相關。