精選20個Pandas統計函數
公眾號:尤而小屋
作者:Peter
編輯:Peter
大家好,我是Peter~
本文介紹的是pandas中20個常用統計函數。
20個統計函數
先給出一份彙總名單:
python
df.count() #非空元素計算
df.min() #最小值
df.max() #最大值
df.idxmin() #最小值的位置,類似於R中的which.min函數
df.idxmax() #最大值的位置,類似於R中的which.max函數
df.quantile(0.1) #10%分位數
df.sum() #求和
df.mean() #均值
df.median() #中位數
df.mode() #眾數
df.var() #方差
df.std() #標準差
df.mad() #平均絕對偏差
df.skew() #偏度
df.kurt() #峯度
df.describe() #一次性輸出多個描述性統計指標
df.abs() #求絕對值
df.prod #元素乘積
df.cumsum #累計和
df.cumprod #累計乘積
模擬數據
為了解釋每個方法,模擬了一份帶有空值的數據:
```python import pandas as pd import numpy as np
import matplotlib.pyplot as plt import seaborn as sns
df = pd.DataFrame({ "sex":["male","male","female","female","male"], "age":[22,24,25,26,24], "chinese":[100,120,110,100,90], "math":[90,np.nan,100,80,120], # 存在空值 "english":[90,130,90,80,100]})
df ```
描述統計信息describe
descirbe方法只能針對序列或數據框,一維數組是沒有這個方法的;同時默認只能針對數值型的數據進行統計:
python
DataFrame.describe(percentiles=None,include=None,exclude=None)
- percentiles:可選折的百分數,列表形式;數值在0-1之間,默認是[.25,.5,.75]
- include/exclude:包含和排序的數據類型信息
返回的信息包含:
- 非空值的數量count;特例:math字段中有一個空值
- 均值mean
- 標準差std
- 最小值min
- 最大值max
- 25%、50%、75%分位數
df.describe()
添加了參數後的情況,我們發現:
- sex字段的相關信息也被顯示出來
- 顯示的信息更豐富,多了unique、top、freq等等
非空值數量count
返回的是每個字段中非空值的數量
In [5]:
df.count()
Out[5]:
sex 5
age 5
chinese 5
math 4 # 包含一個空值
english 5
dtype: int64
求和sum
In [6]:
df.sum()
在這裏我們發現:如果字段是object類型的,sum函數的結果就是直接將全部取值拼接起來
Out[6]:
sex malemalefemalefemalemale # 拼接
age 121 # 相加求和
chinese 520
math 390.0
english 490
dtype: object
最大值max
In [7]:
df.max()
針對字符串的最值(最大值或者最小值),是根據字母的ASCII碼大小來進行比較的:
- 先比較首字母的大小
- 首字母相同的話,再比較第二個字母
Out[7]:
sex male
age 26
chinese 120
math 120.0
english 130
dtype: object
最小值min
和max函數的求解是類似的:
In [8]:
df.min()
Out[8]:
sex female
age 22
chinese 90
math 80.0
english 80
dtype: object
分位數quantile
返回指定位置的分位數
In [9]:
df.quantile(0.2)
Out[9]:
age 23.6
chinese 98.0
math 86.0
english 88.0
Name: 0.2, dtype: float64
In [10]:
df.quantile(0.25)
Out[10]:
age 24.0
chinese 100.0
math 87.5
english 90.0
Name: 0.25, dtype: float64
In [11]:
df.quantile(0.75)
Out[11]:
age 25.0
chinese 110.0
math 105.0
english 100.0
Name: 0.75, dtype: float64
通過箱型圖可以展示一組數據的25%、50%、75%的中位數:
In [12]:
``` plt.figure(figsize=(12,6))#設置畫布的尺寸
plt.boxplot([df["age"],df["chinese"],df["english"]], labels = ["age","chinese","english"],
vert=False,
showmeans=True,
patch_artist = True,
boxprops = {'color':'orangered','facecolor':'pink'}
showgrid=True
)
plt.show() ```
箱型圖的具體展示信息:
均值mean
一組數據$x_1,x_2,……x_n$的平均值$$(x_1 + x_2 + …… + x_n) / n$$
In [13]:
df.mean()
Out[13]:
age 24.2
chinese 104.0
math 97.5
english 98.0
dtype: float64
通過下面的例子我們發現:如果字段中存在缺失值(math存在缺失值),此時樣本的個數會自動忽略缺失值的總數
In [14]:
390/4 # 個數不含空值
Out[14]:
97.5
中值/中位數median
比如:1,2,3,4,5 的中位數就是3
再比如:1,2,3,4,5,6 的中位數就是 3+4 = 3.5
In [15]:
df.median()
Out[15]:
age 24.0
chinese 100.0
math 95.0
english 90.0
dtype: float64
眾數mode
一組數據中出現次數最多的數
In [16]:
df.mode()
Out[16]:
最大值索引idmax
idxmax() 返回的是最大值的索引
In [17]:
df["age"].idxmax()
Out[17]:
3
In [18]:
df["chinese"].idxmin()
Out[18]:
4
不能字符類型的字段使用該函數,Pandas不支持:
In [19]:
df["sex"].idxmax()
最小值索引inxmin
返回最小值所在的索引
In [20]:
df["age"].idxmin()
Out[20]:
0
In [21]:
df["math"].idxmin()
Out[21]:
3
In [22]:
df["sex"].idxmin()
不能字符類型的字段使用該函數,Pandas不支持:
方差-var
計算一組數據的方差,需要注意的是:numpy中的方差叫總體方差,pandas中的方差叫樣本方差
標準差(或方差),分為 總體標準差(方差)和 樣本標準差(方差)
- 前者分母為n,右偏的;後者分母為n-1,是無偏的
- pandas裏是算無偏的;numpy裏是有偏的
In [23]:
df.var()
Out[23]:
python
age 2.200000
chinese 130.000000
math 291.666667 # pandas計算結果
english 370.000000
dtype: float64
In [24]:
df["math"].var()
Out[24]:
291.6666666666667
In [25]:
python
np.var(df["math"]) # numpy計算結果
Out[25]:
218.75
In [26]:
np.var(df["age"])
Out[26]:
1.7600000000000002
In [27]:
np.var(df["english"])
Out[27]:
296.0
標準差std
返回的是一組數據的標準差
In [28]:
df.std()
Out[28]:
age 1.483240
chinese 11.401754
math 17.078251
english 19.235384
dtype: float64
In [29]:
np.std(df["math"])
Out[29]:
14.79019945774904
In [30]:
np.std(df["english"])
Out[30]:
17.204650534085253
In [31]:
np.std(df["age"])
Out[31]:
1.32664991614216
如何理解pandas和numpy兩種方法對方差的求解不同:
平均絕對偏差mad
In [32]:
df.mad()
Out[32]:
age 1.04
chinese 8.80
math 12.50
english 13.60
dtype: float64
以字段age為例:
In [33]:
df["age"].mad()
Out[33]:
1.0399999999999998
In [34]:
df["age"].tolist()
Out[34]:
[22, 24, 25, 26, 24]
In [35]:
age_mean = df["age"].mean()
age_mean
Out[35]:
24.2
In [36]:
(abs(22-age_mean) + abs(24-age_mean) + abs(25-age_mean)
+ abs(26-age_mean) + abs(24-age_mean)) / 5
Out[36]:
1.0399999999999998
偏度-skew
介紹峯度和偏度的好文章:https://www.cnblogs.com/wyy1480/p/10474046.html
偏度(skewness),是統計數據分佈偏斜方向和程度的度量,是統計數據分佈非對稱程度的數字特徵。
偏度(Skewness)亦稱偏態、偏態係數,表徵概率分佈密度曲線相對於平均值不對稱程度的特徵數。
直觀看來就是密度函數曲線尾部的相對長度。定義上偏度是樣本的三階標準化矩:
In [37]:
df.skew()
Out[37]:
age -0.551618
chinese 0.404796
math 0.752837
english 1.517474
dtype: float64
In [38]:
df["age"].skew()
Out[38]:
-0.5516180692881046
峯度-kurt
返回的是峯度值
In [39]:
df.kurt()
Out[39]:
age 0.867769
chinese -0.177515
math 0.342857
english 2.607743
dtype: float64
In [40]:
df["age"].kurt()
Out[40]:
0.8677685950413174
In [41]:
df["math"].kurt()
Out[41]:
0.3428571428571434
絕對值abs
返回數據的絕對值:
In [45]:
df["age"].abs()
Out[45]:
0 22
1 24
2 25
3 26
4 24
Name: age, dtype: int64
如果存在缺失值,絕對值函數求解後仍是NaN:
In [46]:
df["math"].abs()
Out[46]:
0 90.0
1 NaN
2 100.0
3 80.0
4 120.0
Name: math, dtype: float64
絕對值函數是針對數值型的字段,不能對字符類型的字段求絕對值:
In [47]:
```
字符類型的數據報錯
df["sex"].abs() ```
元素乘積prod
In [48]:
df.prod()
Out[48]:
age 8.236800e+06
chinese 1.188000e+10
math 8.640000e+07
english 8.424000e+09
dtype: float64
In [49]:
df["age"].tolist()
Out[49]:
[22, 24, 25, 26, 24]
In [50]:
22 * 24 * 25 * 26 * 24
Out[50]:
8236800
累計求和cumsum
In [51]:
df.cumsum()
累計乘積cumprod
In [52]:
df["age"].cumprod()
Out[52]:
0 22
1 528
2 13200
3 343200
4 8236800
Name: age, dtype: int64
In [53]:
df["math"].cumprod()
Out[53]:
0 90.0
1 NaN
2 9000.0
3 720000.0
4 86400000.0
Name: math, dtype: float64
In [54]:
```
字符類型字段報錯
df["sex"].cumprod() ```
20個統計函數
最後再總結Pandas中常用來描述統計信息的函數:
- 基於機器學習分類算法的鋼材缺陷檢測分類
- JSON數據,Python搞定!
- 邏輯迴歸:信貸違規預測!
- kaggle實戰-腫瘤數據統計分析
- Pandas操作mysql數據庫!
- 數學公式編輯神器-Mathpix Snipping Tool
- 精選20個Pandas統計函數
- 露一手,利用Python分析房價
- 德國信貸數據建模baseline!
- Python函數傳參機制詳解
- Python爬蟲周遊全國-蘭州站
- 一道Pandas題:3種解法
- 機器學習實戰:基於3大分類模型的中風病人預測
- 利用seaborn繪製柱狀圖
- 機器學習實戰:基於MNIST數據集的二分類問題
- 基於深度學習Keras的深圳租房建模
- 機器學習高頻使用代碼片段
- Python入門:Python變量和賦值
- 深度學習框架Keras入門保姆教程
- kaggle實戰:極度不均衡的信用卡數據分析