协方差矩阵

在统计学与概率论中，协方差矩阵（covariance matrix）是一个矩阵，其每个元素是各个向量元素之间的协方差。协方差矩阵能导出一个变换矩阵，这个矩阵能使数据完全去相关（decorrelation），它是从标量随机变量到高维度随机向量的自然推广。

尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度来看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

统计学里最基本的概念就是样本的均值、方差、标准差。首先，给定一个含有n个样本的集合，下面给出这些概念的公式描述：

均值：

标准差：

方差：

均值描述的是样本集合的中间点，它告诉的信息是有限的，而标准差给描述的是样本集合的各个样本点到均值的距离之平均。

以这两个集合为例，和，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是n，是因为这样能以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

标准差和方差一般是用来描述一维数据的，但现实生活中常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。

面对这样的数据集，当然可以按照每一维独立的计算其方差，但是通常还想了解更多。协方差就是这样一种用来度量两个随机变量关系的统计量可以仿照方差的定义来度量各个维度偏离其均值的程度，协方差可以这样来定义：

协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义）。如果结果为负值，就说明两者是负相关。如果为0，则两者之间没有关系，就是统计上说的“相互独立”。

从协方差的定义上也可以看出一些显而易见的性质，如：