无偏估计与有偏估计的简单理解

样本均值是总体均值无偏估计的证明很简单:


我们看到,对于样本均值求期望(令n趋于无穷大),就是总体均值,所以是无偏估计,也就是说,如果令样本容量无限大的时候,样本的某个统计量就等于总体的这个统计量,这种情况就是无偏估计。
另外,中心极限定理表明:

也就是说,多个不同样本的均值会围绕总体均值呈现正态分布,这也应该是无偏估计的一个特征。如图1和图2所示。

比如,测量全国高中学生的身高,可以通过抽取若干个学校的高中生的身高来估计全国高中生的平均身高,那么,不同学校的学生的平均身高应该围绕全国学生的平均身高呈现正态分布,也就是说,不同学校的学生的平均身高就是全国学生的平均身高的一个无偏估计。

再看有偏估计:

图3

从图3和图4可以看出,当用样本方差

来估计总体方差

的时候,即使n为无穷大,两者之间还是存在着误差

从图4可以看出,其原因就是样本均值不等于总体均值。
因此,可以总结如下:
当用样本统计量去估计某个总体统计量的时候,如果样本无穷大的时候两者相等,就是无偏估计,不等的时候就是有偏估计。

