方差，协方差，相关系数，协方差矩阵总结及python示例 - 好文

方差

* 方差用来度量随机变量 X 与其数学期望 E(X) 的偏离程度。
* 随机变量 X 的离差 X-E(X) 的平方的数学期望叫做方差，公式为： D(X)=E[(X−EX)2]
方差总是一个非负数，当随机变量的可能值集中在数学期望的附近时，方差较小；反之方差较大。所以由方差的大小可以推断随机变量分布的分散程度。
python代码举例：
import numpy as np X = np.array([1,2,3]) print(np.var(X)) #0.666666666667
协方差

* 协方差用来刻画两个随机变量 X , Y 的相关性
* 公式为 : Cov(X,Y)=E[(X−μx)(Y−μy)]
总结：如果协方差为正，说明X，Y同向变化，协方差越大说明同向程度越高；如果协方差为负，说明X，Y反向运动，协方差越小说明反向程度越高。
对上述“同向”和“反向”的理解：
1）你变大，同时我也变大，说明两个变量是同向变化的，这时协方差就是正的。
2）你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负的。
3）从数值来看，协方差的数值越大，两个变量同向程度也就越大。反之亦然。

相关系数

* 用随机变量X，Y的协方差除以X的标准差和Y的标准差，公式为：ρ=Cov(X,Y)σxσy
* 相关系数也可以看成是协方差：一种剔除了两个变量量纲，标准化后的协方差。
既然是中特殊的协方差，那么：
1）也可以反映两个变量变化时是同向还是反向，如果同向变化就为正，反向变化就为负。
2）由于它是标准化后的协方差，因此更重要的特性来了：它消除了两个变量变化幅度的影响，而只是单纯反应两个变量每单位变化时的相似程度。

对于两个随机变量：

1）当他们的相关系数为1时，说明两个变量变化时的正向相似度最大，即，你变大一倍，我也变大一倍；你变小一倍，我也变小一倍。也即是完全正相关（以X、Y为横纵坐标轴，可以画出一条斜率为正数的直线，所以X、Y是线性关系的）。
2）随着他们相关系数减小，两个变量变化时的相似度也变小，当相关系数为0时，两个变量的变化过程没有任何相似度，也即两个变量无关。
3）当相关系数继续变小，小于0时，两个变量开始出现反向的相似度，随着相关系数继续变小，反向相似度会逐渐变大。

4）当相关系数为－1时，说明两个变量变化的反向相似度最大，即，你变大一倍，我变小一倍；你变小一倍，我变大一倍。也即是完全负相关（以X、Y为横纵坐标轴，可以画出一条斜率为负数的直线，所以X、Y也是线性关系的）。

协方差矩阵

* 协方差只能处理二维问题，即两个随机变量的相关程度。
* 维数多了就需要计算多个协方差，于是出现了协方差矩阵。
* 协方差矩阵的每一个值就是对应下标的两个随机变量的协方差（即相关程度）。
举例：三个随机变量X,Y,Z,协方差矩阵为：

C=⎡⎣⎢Cov(X,X)Cov(Y,X)Cov(Z,X)Cov(X,Y)Cov(Y,Y)Cov(Z,Y)Cov(X,Z)Cov(Y,Z)Cov(Z,Z)⎤⎦
⎥
可以看出，协方差矩阵是一个对称矩阵，而且对角线是各个维度的方差。
python代码举例：

import numpy as np X = np.array([[-2.1,-1,4.3],[3,1.1,0.12],[3,1.1,0.12]])
#每一行代表一个随机变量，每列代表随机变量的值 #[[-2.1,-1,4.3], # [3,1.1,0.12], # [3,1.1,0.12]] print
(np.cov(X)) #[[ 11.71 , -4.286 , -4.286 ], # [ -4.286 , 2.14413333,
2.14413333], # [ -4.286 , 2.14413333, 2.14413333]])

热门工具换一换