7.2 估计量的评选标准、7.3 一致最小方差无偏估计（课件）- 《概率论与数理统计》同步教学（机工版· 第4版）

《概率论与数理统计》 7.2 估计量的评选标准 一、无偏性 易见 为 的无偏估计(UE.) 称 为 的渐近无偏估计（AUE）。 定义 统计量满足 称 2 为 的UE. 为 的AUE. 注: UE一定是AUE,反之未必成立. 例1 考察的矩估计和极大 似然估计的无偏性. 解: 的矩估计和极大似然估计分别为  的矩估计是无偏的. 记 4 故 的极大似然估计不是无偏的,而是渐近无偏的. 取 则 为 的无偏估计. 例2 设总体X的k阶矩k=EXk存在,又设 X1, X2 , …, Xn 是X的一个样本. 试证明：不论总体X服从什么分布，k阶样本 矩 是k阶总体矩的无偏估计. 证明 例3 设总体X的数学期望E(X)=， X1, X2…Xn是来自X的一个样本，试证明： 是的无偏估计量，其中a1, a 2,… ,a n为任意 常数，且满足 证明 因为 二、有效性 8 例4 设 分别为取自总体X的容量为n1, n2的两个样本的样本均值，求证：对任意实数a>0,b>0,a+b=1 统计量 都是E(X)的无偏估计，并求a,b使所得统计量最有效 故对任意实数a>0,b>0,a+b=1,统计量 都是E(X)的无偏估计 正是由于这一原因，我们在实际问题中总是乐意 用来作为数学期望E(X)=的估计. 无偏估计较 更有效. 例5在例3中，证明 证明 由柯西一施瓦兹不等式 得 例6.设 m已知,0<p<1, 讨论p的极大似然估计量的相合性。 解: 由辛钦大数定理, p的极大似然估计 量是相合估计. 定义 为参数 的估计量， 则称之为参数的相合估计. 三、相合性 四、最小均方误差估计 性质： 为 的均方误差。 设参数的估计为 称 证明： 定义 小 结 无偏性 相合性 有效性 最小均方误差 设参数的估计中均方误差达到最小的估计为 称 最小均方误差估计. 7.3 一致最小方差无偏估计（UMVUE） 一、概 念 定义：设 为关于 的UE，对另一个任意的无偏估计 称 为关于 一致最小方差无偏估计（UMVUE）。 如何求UMVUE？ EX=，Var(X)>0, 定理1（Rao-Blackwell)设X，Y为两个随机变量， 则 证明： 等号成立的充要条件为： 几乎处处相等。 定理2 为总体的简单随机样本， T为充分统计量, 为未知参数， 为关于 的UE， 令 则 定理2实际上是定理1的推论。 说明：如果充分统计量存在，则UMVUE是充分统计量的函数； 定理3（UMVUE判别法） 为关于 的UE， 为总体的简单随机样本， 为UMVUE的充分必要条件是： 对任一满足 的 有 证明： 为关于 任一的UE，则令 设 为UMVUE。 为UMVUE， 设t为一非随机数，则 二、Cramer-Rao不等式（C-R） 定义(C-R分布簇)设 为总体X的分布密度簇， 满足： (1)参数集 为直线上一开区间;(开集) (2)支撑 与 无关; (3) 对一切 存在; (4) 积分与微分运算可交换次序,即 (5) 存在;则称 为总体的Fisher信息; 满足上述条件,则称之为C-R分布簇 或正则分布簇. 例1 设总体 求 例2 设总体 求 性质: 为Score函数,则 (1) (2) (3) 称 推论 对数似然函数 (2) (3) (1) 定理4（C-R不等式）设总体分布为C-R分布簇,X1, X2, , Xn为一组样本,T=T(X1, X2, , Xn)为g()的无偏估计, g()连续可导,且 可在积分号下求导,则 等式成立的充要条件为 证明 注1 称为CR下界. 注2 统计量T的方差达到CR下界,则它一定是UMVUE.反之未必成立. 谢 谢 聆 听 定理5在定理4成立的条件下，统计量T的方差达到CR下界,则它一定是UMVUE，则似然方程具有唯一解T，且T也是极大似然估计。 证明 统计量T的方差达到CR下界,则由上述定理知： 单击此处编辑母版文本样式 第二级 第三级 第四级 第五级 $$