机器学习基础

主要阐述互相关系数和互信息的区别和联系，先说结论：

对于高斯分布，两者是等价的，且存在转换公式，当(X)与(Y)互相关系数为零时，两者相互独立，且互信息为零；当互相关系数为(pm1)时，两者完全相关且互信息为无穷大，转换公式：

[I(X,Y)=-frac{1}{2}log(1-r^2)]

一般情形，互相关系数只是反应了两者之间的线性相关关系，而互信息则直接从概率分布角度考虑变量之间的相互独立性，相互独立一定不相关，不相关不一定相互独立

互相关系数

互相关系数是研究变量之间 线性相关 程度的量，定义公式如下：

[r(X,Y)=frac{Cov(X,Y)}{sqrt{Var[X]Var[Y]}}]

其中：(Cov(X,Y))为(X)与(Y)之间的协方差，(Var[X])为(X)的方差，(Var[Y])为Y的方差。

(Cov(X,Y)=E[(X-E[X])(Y-E(Y))]=E[XY]-E[X]E[Y])(Var[X]=E[(X-E[X])^2]=E[X^2]-E[X]^2)

互相关系数的基本性质如下：

(|r(X,Y)|leq 1)

若(r(X,Y)>0)，则两者之间是正相关；若(r(X,Y)