7.4 MLE的性质、7.5 Bayes估计（课件）- 《概率论与数理统计》同步教学（机工版· 第4版）

《概率论与数理统计》 7.4 MLE的性质 计量,如果θ的极大似然估计存在,则其必是充分 定理1 样本X=(X1,… ,Xn) i.i.d.p(x,),T为θ充分统 统计量. 证明: 由于T为θ充分统计量，由因子分解定理 所以似然函数L关于θ的最大化等价于g(T, θ)关于θ最大化，即极大似然估计是T的函数，为充分统计量。 定理2 总体具有分布密度函数蔟为 θ是在某个开区间 上的实参数，且满足下列条件： (i) 对几乎所有的x，对每个 ，导数 存在； (ii) 对每个 ，导数 其中F1(x), F2(x) 在 在上可积，而H(x)满足 其中M是与θ无关的常数； (iii) 总体的Fisher信息I (θ)满足 (iv) 总体分布密度函数簇的支撑 与θ无关;则 (1)似然方程 当 时,依概率趋 于1存在一致性解 (2)似然方程一致性解满足 证明: (1)设0为真参数，则 由大数定律有 由此可得，当n→∞时，以概率1成立 这表明L(X,)在区间 存在相对最大值，所以 存在点 使 由于的选取的任意的，所以 选取关于0是一致的。 (2) 为似然方程的一致性解，则有 有相同的渐近分布。 单击此处编辑母版文本样式 第二级 第三级 第四级 第五级 谢 谢 聆 听 7.5 Bayes估计 一、Bayes估计的统计基础 统计推断是根据样本信息对总体分布或其特征进行推 断的过程，统计推断应用了总体信息与样本信息，而 Bayes学派认为应当应用第三类信息：先验信息。 1.总体信息:是指总体分布或分布簇提供的信息,如 总体服从正态分布;总体的一、二阶存在等。 3.先验信息:来自于经验或历史资料，如研究大学生的平均身高，人们大体上知道应当在[100cm,200cm]之间，这就是先验信息。 2.样本信息:是指得到样本观察值后得到的一些信息； 如：样本均值、样本方差 Bayes估计的基本思想是：将待估参数视为一随机变 量，可用一概率分布描述，这个分布称为先验分布。 二、Bayes估计的基本步骤 （1）参数 为随机变量，先验分布的密度函数为 （2）样本X=(X1,… ,Xn) i.i.d.p(x|),X的条件密度函数为 （3）样本X=(X1,… ,Xn) 与参数 的联合概率分布密度函数为 （4）求后验分布 （5）求后验分布的数学期望作为参数的估计，称为Bayes估计。看下列实例。 例1 X1,… ,Xn i.i.d.B(1, ),先验分布分别为U(0,1),Beta(p,q), 求 的Bayes估计 解 (1) c 为常数。 (2) 例2 X1,… ,Xn i.i.d.P(x| ),先验分布分别为(a,p), 求 的Bayes估计 谢 谢 聆 听 $$