第7章 参数估计（课件）- 《概率论与数理统计》同步教学（人邮版）

第七章 参数估计 在上一章中我们已经知道，数理统计的基本问题就是根据样本所提供的信息，对总体的分布或者分布的数字特征等做出统计推断的问题．本章将要探讨的是这样一类问题，即总体所服从的分布类型是知道的，而它的某些参数却是未知的．对于这一类问题，要想确定总体的分布，关键是构造合理的方法将这些未知参数估计出来．例如，在很多场合中，电子元件的寿命是服从指数分布的，但是其参数却常常是未知的，因此，只要对参数做出了推断，自然也就对总体分布做出了推断．这类问题称为参数估计问题． 第一节　点 估 计 一、矩估计法 统计学家对某地区居民的平均收入水平和贫富悬殊程度做出推断, 用数理统计的话说, 实质上是对总体 的未知参数期望值 与方差值 进行估计．分别用样本均值 和样本方差 来反映这两个量的，那么这样做是否合理？直观来看这样做是合理的，从概率论的观点看也是合理的．事实上，若总体 X的期望存在， X1,X2,…,Xn是出自X 的样本，则由柯尔莫哥洛夫强大数定律，以概率为１成立 而上式左边极限号内正是样本均值 ,因此,我们常用 作为 的估计值. 不仅如此, 若X 的 k阶矩存在， ，则同样由柯尔莫哥洛夫强大数定律得出 以概率为１成立.于是,同样可用样本k 阶原点矩 来近似 ak, 这种用样本原点矩去估计总体相应原点矩的方法，即是所谓的矩估计法. 一般地，若总体的分布有m 个参数 ,则显然，总体的 k 阶矩 ( ) ak如果存在的话，必依赖这些参数，即 按照用样本矩近似真实矩的原则，可得方程 若上述关于 的方程组有唯一的解 则称 是 的矩估计量或矩估计. 例7.1　按矩估计的定义，无论总体是什么分布， k阶样本原点矩 Ak均是它们相应真实原点矩ak 的矩估计量，只要真实矩存在．因当我们将 ak视为未知参数时， Ak显然是方程组（7.1）的唯一解． 例7.2　无论总体为什么分布，只要二阶矩存在，则样本方差 S2为方差 的矩估计量． 解　设 X1,X2,…,Xn为一样本，我们有 故 记为 ． 需要估计的参数也可以不是总体的数字特征。 例7.3　设X 为[ ]上的均匀分布， X1,X2,…,Xn为样本，求 的矩估计． 解 令 解上述关于 的方程得 例7.4　伯努利试验中，事件 A发生的频率是该事件发生概率的矩法估计． 解　此处，实际上我们视总体 X为“唱票随机变量”， 即X服从两点分布： 求参数p 的矩法估计． 设X1,X2,…,Xn 为X 的一个样本，若其中有 n1个Xi 等于1， 则 即为事件 A发生的频率，另一方面，显然 故有 ． 应用中许多问题可归结为例7.4, 如废品率的估计问题等． 特别对固定的 x，经验分布函数 Fn(x)也可在某种意义下看成是F(x) 的矩估计. 因为我们在前面讲过, Fn(x)是n 次试验中事件{X<x} 发生的频率, 而 F(x)已知是事件{X<x} 的概率. 当然这一矩估计所涉及的总体已不是原来的总体 X，而是相应的“唱票随机变量”． 并非所有建立了方程组（7.1）的矩估计问题都能得到 的解析表达式． 例7.5　设总体的密度函数为 X1,X2,…,Xn 为此总体的样本．则可以算出 其中 为伽玛(Gamma)函数，按矩估计原理分别用 取代 a1,a2，得到形如（7.1）的方程组，但 无法得到 简单的解析表达式，只能求 的数值解． 使用矩估计法的一个前提是总体存在适当阶的矩，阶数应不小于待估参数的个数（或者说参数空间的维数），但这不总是可以做到的． 例7.6　柯西（Cauchy）分布　设总体具有密度函数 显然，它的各阶矩皆不存在，因此，不能用矩估计法来估计参数 ．另外，尽管矩估计法简便易行，且只要 n充分大，估计的精确度也很高，但它只用到总体的数字特征的形式，而未用到总体的具体分布形式，损失了一 部分很有用的信息，因此，在很多场合下显得粗糙和过于一般． 二、极大似然估计法 参数的点估计方法中另一个常用方法就是极大似然估计，简记为MLE．从字面上来理解，就是通过对样本的考察，认为待估参数对象是取什么值