内容正文:
(
第
1
页 共
4
页
)
一、什么是极大似然估计?
二、极大似然估计典例
三、高考中的极大似然估计
四、模考中的极大似然估计
五、厦门质检标记重捕法原理
一、什么是极大似然估计?
由高斯和费希尔(R.A. Figher)先后提出的极大似然估计法是被使用最广泛的一种参数估计方法 . 该方法建立的依据是直观的极大似然原理:一个试验有若干个可能结果 ,若一次试验的结果是 发生,则自然认为 在所有可能结果中发生的概率最大 . 当总体 的未知参数 待估时,应用这一原理,对 的样本 ,作一次观测试验,得样本观察值 为此次试验结果,那么参数 的估计值应取为使这一结果发生的概率为最大才合理这就是极大似然估计法的基本思想。下面用一个简单的例子加以说明 .
【引例1】 设一袋中装有多个白球和黑球,已知两种球的数目之比为 ,但不知黑球多还是白球多 . 现从中有放回地依次取出 球,结果是(白,黑,白),试由此估计白球所占比例 究竟为 还是 .
解析:
白球所占比例 亦即从袋中任取一球得白球的概率 . 因而 可视为两点分布总体 的参数, 的分布律为
于是,有放回地取出 只球是对总体 的样本 的一次观察试验 . 试验的结果(白,黑,白)即样本观察值为 . 要由这一结果判定是 还是 . 依极大似然原理,此次试验结果发生的概率应该最大,故分别在 和 下计算此概率,得
比较知,对应于 ,此概率有较大的值,因此,选取 为 的估计值更合理 . 类似地,可计算此次试验的任一可能结果,亦即样本 的任一组可能取值情形分别在 和 下发生的概率,如表 1 所示
表 1. 引例1的概率值
表 1 的第 2~5 列给出当 和 时试验种可能结果的概率值,试验的任一结果位于某列的第 1 行,该列的第 2,3 行是这一结果分别在 和 下的概率值 .
一般,设总体 的未知参数 待估, 为 的一组样本观察值,则
(1) 当 为离数型时,该组观察值发生的概率
应最大,从而求 的极大似然估计值即求使上式的 达最大的估计值
(2) 当 为连续型时,观察值 发生的概率为 0,但由于样本 的概率密度在一点处的函数值大小反映和决定样本在该点附近取值的概率大小,因此,观察值 发生的概率最大可用样本的概率密度在该观察值点的函数值
最大来反映和表示(其中 为总体概率密度)求 的极大似然估计就是求使以上函数值达最大的估计值
综合上述两种情形,我们给出如下定义
【定义】 设总体 的概率密度为 (当 为离数型时, ),,其中 为待估的未知参数, 为参数 的可能取值所成的参数空间, 是总体样本 的一组观察值,称
为样本的似然函数;
若存在 ,使得
成立,则称
为参数 的极大似然估计值,而称
为 的极大似然估计量(maximum likelihood estimator) .
由于 往往是关于 可微的,因此一般 可由方程组
解得。
又由于 与 同时取得最大值,故等价地可由方程组
求得 .
注: 当 关于 不可微或上述方程组无解时,就必须根据极大似然估计的定义和 的取值范围 求 ; 式和 式中的方程都称为似然方程 .
二、极大似然估计典例
【典例1】 从一批产品中任取 件,发现有 件废品,试求这批产品的废品率 的极大似然估计.
解析:
【典例2】 设总体 ,其中 为未知参数 为总体 的样本,求 和 的极大似然估计 .
解析:
三、高考中的极大似然估计
极大似然估计其实在之前2018年高考课标Ⅰ卷中已经出现过,该题第 (1) 问就是从一箱产品中取 件产品中恰有 件不合格品时,这箱产品不合格率(即每件产品为不合格品的概率) 的极大似然估计(原题如下),因此该题答案就是 ,这个结论可以参看上文中的 【典例1】
【2018课标Ⅰ卷 T20】 某工厂的某种产品成箱包装,每箱 件,每一箱产品在交付用户之前要对产品作检验,如检验出不合格品,则更换为合格品. 检验时,先从这箱产品中任取 件作检验,再根据检验结果决定是否对余下的所有产品作检验,设每件产品为不合格品的概率都为 ,且各件产品是否为不合格品相互独立.
(1) 记 件产品中恰有 件不合格品的概率为 ,求 的最大值点 .
(2) 现对一箱产品检验了 件, 结果恰有 件不合格品,以(1)中确定的 作为 的值 . 已知每件产品的检验费用为 元,若有不合格品进入用户手中,则工厂要对每件不合格品支付 元的赔偿费用.
(i) 若不对该箱余下的产品作检验,这一箱产品的检验费用与赔偿费用的和记为 ,求
(ii) 以检验费用与赔偿费用和的期望值为决策依据,是否该对这箱余下的所有产品作检验?
解析:
(1)
(2)(i)
(ii)
四、模考中的极大似然估计
【24杭州二模】 在概率统计中,常常用频率估计概率。已知袋中有若干个红球和白球,有放回地随机摸球 次,红球出现 次 . 假设每次摸出红球的概率为 ,根据频率估计概率的思想,则每次摸出红球的概率 的估计值为
(1) 若袋中这两种颜色球的个数之比为 ,不知道哪种颜色的球多,有放回地随机摸取 个球,设摸出的球为红球的次数为 ,则
注: 表示当每次摸出红球的概率为 时,摸出红球次数为 的概率
(i) 完成下表:
(ii) 在统计理论中,把使得 的取值达到最大时的 ,作为 的估计值,记为 ,请写出 的值.
(2) 把 (1) 中“使得 的取值达到最大时的 作为 的估计值 ” 的思想称为最大似然原理 . 基于最大似然原理的最大似然参数估计方法称为最大似然估计.
具体步骤:先对参数 构建对数似然函数 ,再对其关于参数 求导,得到似然方程 ,最后求解参数 的估计值 . 已知 的参数 的对数似然函数为
其中
求参数 的估计值,并且说明频率估计概率的合理性 .
解析:
(1)
(i)
(ii)
(2)
【24届湖南长沙雅礼中学月考(五)T19】 某制药公司研制了一款针对某种病毒的新疫苗.该病毒一般通过病鼠与白鼠之间的接触传染,现有 只白鼠,每只白鼠在接触病鼠后被感染的概率为 ,被感染的白鼠数用随机变量 表示,假设每只白鼠是否被感染之间相互独立 .
(1) 若 ,求数学期望 ;
(2) 接种疫苗后的白鼠被病鼠感染的概率为 ,现有两个不同的研究团队理论研究发现概率 与参数 的取值有关 . 团队 提出函数模型为 . 团队 提出函数模型为 . 现将白鼠分成 组,每组 只,进行实验,随机变量 表示第 组被感染的白鼠数,现将随机变量 的实验结果 绘制成频数分布图,如图所示 .
(i) 试写出事件 “ ,,,” 发生的概率表达式(用 表示,组合数不必计算);
(ii) 在统计学中,若参数 时使得概率 最大,称 是 的最大似然估计 . 根据这一原理和团队 , 提出的函数模型,判断哪个团队的函数模型可以求出 的最大似然估计,并求出最大似然估计.
参考数据:
解析:
(1)
(2)
(i)
(ii)
五、厦门质检标记重捕法原理
【厦门24年高二下质检T19】设随机变量 的概率密度函数为 (当 为离散型随机变量时, 为 的概率),其中 为未知参数,极大似然法是求未知参数 的一种方法.
在 次随机试验中,随机变量 的观测值分别为 ,,,,定义
为似然函数.
若 时, 取得最大值,则称 为参数 的极大似然估计值.
(1) 若随机变量 的分布列为
其中 . 在 次随机试验中, 的观测值分别为 ,求 的极大似然估计值 .
(2) 某鱼池中有鱼 尾,从中捞取 尾,做好记号后放回鱼塘 . 现从中随机捞取 尾,观测到做记号的有 尾,求 的极大似然估计值 .
(3) 随机变量 的概率密度函数为
其中 . 若 ,,, 是 的一组观测值,证明:参数 的极大似然估计值为
解析:
(1) (2) (3)
注: 该题第 (1) 较简单,就是按照题设所给新定义套公式;第 (2) 中的做法在高中生物中被叫作标记重捕法——测量某地区某生物种群密度的一种方法。该法一般是直接利用经验公式
来大致求得某地区某生物的总数。这一问用极大似然估计解释了其原理;第 (3) 其实就是数学期望 为 正态分布,上文有求正态分布两个参数 极大似然估计的 【典例2】 。
学科网(北京)股份有限公司
$$
一、什么是极大似然估计?
二、极大似然估计典例
三、高考中的极大似然估计
四、模考中的极大似然估计
五、厦门质检标记重捕法原理
一、什么是极大似然估计?
由高斯和费希尔(R.A. Figher)先后提出的极大似然估计法是被使用最广泛的一种参数估计方法. 该方法建立的依据是直观的极大似然原理: 一个试验有若干个可能结果 ,若一次试验的结果是 发生,则自然认为 在所有可能结果中发生的概率最大. 当总体 的未知参数 待估时,应用这一原理,对 的样本 ,作一次观测试验,得样本观察值 为此次试验结果, 那么参数 的估计值应取为使这一结果发生的概率为最大才合理这就是极大似然估计法的基本思想。下面用一个简单的例子加以说明.
【引例 1设一袋中装有多个白球和黑球,已知两种球的数目之比为 ,但不知黑球多还是白球多. 现从中有放回地依次取出 3 球,结果是 (白,黑,白),试由此估计白球所占比例 究竟为 还是 . 解析:
白球所占比例 亦即从袋中任取一球得白球的概率. 因而 可视为两点分布总体 的参数, 的分布律为
于是,有放回地取出 3 只球是对总体 的样本 的一次观察试验. 试验的结果(白,黑,白)即样本观察值为(1,0,1). 要由这一结果判定是 还是 . 依极大似然原理,此次试验结果发生的概率应该最大,故分别在 和 下计算此概率,得
比较知,对应于 ,此概率有较大的值,因此,选取 为 的估计值更合理. 类似地,可计算此次试验的任一可能结果,亦即样本 的任一组可能取值情形分别在 和 下发生的概率,如表 1 所示
表 1. 引例 1 的概率值
(1,0,0)
表 1 的第 列给出当 和 时试验种可能结果的概率值,试验的任一结果位于某列的第 1 行,该列的第 2,3 行是这一结果分别在 和 下的概率值.
一般,设总体 的未知参数 待估, 为 的一组样本观察值,则
(1)当 为离数型时,该组观察值发生的概率
应最大,从而求 的极大似然估计值即求使上式的 达最大的估计值
(2)当 为连续型时,观察值 发生的概率为 0,但由于样本
的概率密度在一点处的函数值大小反映和决定样本在该点附近取值的概率大小,因此,观察值 发生的概率最大可用样本的概率密度在该观察值点的函数值
最大来反映和表示(其中 为总体概率密度)求 的极大似然估计就是求使以上函数值达最大的估计值
综合上述两种情形, 我们给出如下定义 【定义】设总体 的概率密度为 (当 为离数型时, ,其中 为待估的未知参数, 为参数 的可能取值所成的参数空间, 是总体样本 的一组观察值,称
为样本的似然函数;
若存在 ,使得
成立, 则称
为参数 的极大似然估计值,而称
为 的极大似然估计量(maximum likelihood estimator).
由于 往往是关于 可微的,因此一般 可由方程组
解得。
又由于 与 同时取得最大值,故等价地可由方程组
求得 .
注: 当 关于 不可微或上述方程组无解时,就必须根据极大似然估计的定义和 的取值范围 求 ; (1) 式和 (2) 式中的方程都称为似然方程.
三、极大似然估计典例
【典例 1】从一批产品中任取 50 件,发现有 2 件废品,试求这批产品的废品率 的极大似然估计.
解析: 废品率 即从此批产品中任取一件为次品的概率故 为两点分布总体 ,亦即
的参数.
设 为来自 的样本,则
于是, 似然函数为
对上式取对数,并记 ,得
关于 求导,得似然方程
解此方程得 的极大似然估计为
现 ,故此时废品率的极大似然估计值为
【典例 2】设总体 ,其中 为未知参数 为总体 的样本,求 和 的极大似然估计.
解析: 设 为样本 的观测值,则似然函数是 的函数:
取对数
关于 求偏导数,得似然方程
解得 的极大似然估计为
四、高考中的极大似然估计
极大似然估计其实在之前 2018 年高考课标 I 卷中已经出现过, 该题第 (1) 问就是从一箱产品中取 20 件产品中恰有 2 件不合格品时, 这箱产品不合格率 (即每件产品为不合格品的概率) 的极大似然估计(原题如下),因此该题答案就是 ,这个结论可以参看上文中的【典例 1】
【2018 课标 I 卷 T20某工厂的某种产品成箱包装, 每箱 200 件, 每一箱产品在交付用户之前要对产品作检验, 如检验出不合格品, 则更换为合格品. 检验时, 先从这箱产品中任取 20 件作检验, 再根据检验结果决定是否对余下的所有产品作检验,设每件产品为不合格品的概率都为 ,且各件产品是否为不合格品相互独立.
(1)记 20 件产品中恰有 2 件不合格品的概率为 ,求 的最大值点 .
(2)现对一箱产品检验了 20 件,结果恰有 2 件不合格品,以( 1 )中确定的 作为 的值. 已知每件产品的检验费用为 2 元,若有不合格品进入用户手中,则工厂要对每件不合格品支付 25 元的赔偿费用.
(i)若不对该箱余下的产品作检验,这一箱产品的检验费用与赔偿费用的和记为 ,求
(ii)以检验费用与赔偿费用和的期望值为决策依据, 是否该对这箱余下的所有产品作检验?
解析:
(1)
令 得
时, 时,
最大值点是
(2) 由(1)可知 .
(i) 令 表示余下的 180 件产品中的不合格品件数,由题意可知 ,
所以
所以
(ii) 如果对余下的产品作检验, 则这一箱产品所需要的检验费为 400 元.
而 ,所以应该对这箱余下的所有产品作检验
注: 这道 2018 年的概率题第 (1) 问就是从一箱产品中取 20 件产品中恰有 2 件不合格品时,这箱产品不合格率 (即每件产品为不合格品的概率) 的极大似然估计.
五、模考中的极大似然估计
【24 杭州二模在概率统计中,常常用频率估计概率。已知袋中有若干个红球和白球,有放回地随机摸球 次,红球出现 次. 假设每次摸出红球的概率为 ,根据频率估计概率的思想,则每次摸出红球的概率 的估计值为 .
(1)若袋中这两种颜色球的个数之比为 1:3 ,不知道哪种颜色的球多,有放回地随机摸取 3 个球,设摸出的球为红球的次数为 ,则 .
注: 表示当每次摸出红球的概率为 时,摸出红球次数为 的概率
(i)完成下表:
(ii) 在统计理论中,把使得 的取值达到最大时的 ,作为 的估计值, 记为 ,请写出 的值.
(2)把(1)中“使得 的取值达到最大时的 作为 的估计值 ” 的思想称为最大似然原理. 基于最大似然原理的最大似然参数估计方法称为最大似然估计.
具体步骤: 先对参数 构建对数似然函数 ,再对其关于参数 求导,得到似然
方程 ,最后求解参数 的估计值. 已知 的参数 的对数似然函
数为
其中
求参数 的估计值,并且说明频率估计概率的合理性.
解析:
( 1 )因为 ,所以 的值为 或
(i) 表格如下
(ii) 由题知 .
当 或 1 时,参数 的概率最大;
当 或 3 时,参数 的概率最大;
所以
(2) 对
求导得
故似然方程为
即
解方程得
因此,用最大似然估计的参数 与频率估计概率的 是一致的,故用频率估计概率是合理的.
【24 届湖南长沙雅礼中学月考(五)T19某制药公司研制了一款针对某种病毒的新疫苗. 该病毒一般通过病鼠与白鼠之间的接触传染,现有 只白鼠,每只白鼠在接触病鼠后被感染的概率为 ,被感染的白鼠数用随机变量 表示,假设每只白鼠是否被感染之间相互独立.
(1)若 ,求数学期望 ;
(2)接种疫苗后的白鼠被病鼠感染的概率为 ,现有两个不同的研究团队理论研究发现概率 与参数 的取值有关. 团队 提出函数模型为 . 团队 提出函数模型为 . 现将白鼠分成 10 组,每组 10 只,进行实验,随机变量 表示第 组被感染的白鼠数,现将随机变量 的实验结果 绘制成频数分布图,如图所示.
(i) 试写出事件 “ ” 发生的概率表达式 (用 表示, 组合数不必计算);
(ii) 在统计学中,若参数 时使得概率 最大,称 是 的最大似然估计. 根据这一原理和团队 提出的函数模型,判断
哪个团队的函数模型可以求出 的最大似然估计,并求出最大似然估计.
参考数据: .
解析:
( 1 )由题知,随机变量 服从二项分布
由 ,即
得 ,所以 .
(2)
(i) 记 " "
则
(ii) 记
则
当 时, 单增;
当 时, 单减;
所以当 时, 取得最大值,即 取得最大值.
在团体 提出的函数模型 中,
记函数
当 时, 单增;
当 时, 单减.
当 时, 取得最大值 ,
则 不可以估计.
在团体 提出的函数模型 中,
记函数 单调递增,
令 ,解得 ,
则 是 的最大似然估计.
六、厦门质检标记重捕法原理
【厦门 24 年高二下质检 T19设随机变量 的概率密度函数为 (当 为离散型随机变量时, 为 的概率), 其中 为未知参数,极大似然法是求未知参数 的一种方法.
在 次随机试验中,随机变量 的观测值分别为 ,定义
为似然函数.
若 时, 取得最大值,则称 为参数 的极大似然估计值.
(1)若随机变量 的分布列为
1
2
3
其中 . 在 3 次随机试验中, 的观测值分别为 1,2,1,求 的极大似然估计值 .
(2)某鱼池中有鱼 尾,从中捞取 50 尾,做好记号后放回鱼塘. 现从中随机捞取 20 尾,观测到做记号的有 5 尾,求 的极大似然估计值 .
( 3 )随机变量 的概率密度函数为
其中 . 若 是 的一组观测值,证明: 参数 的极大似然估计值为 解析: (1) 由题意可得
当 时, 单调递增当 时, 单调递减所以 时, 取得最大值,所以 的极大似然估计值为 (2)由题意可得
令 ,得 令 ,得 , 又
所以 或 200 时, 取得最大值,所以 的极大似然估计值为 或 200
(3) 由题意可得
所以
令
所以
令 ,得
当 时, 单调递增
当 时, 单调递减
所以当 时, 取到最大值
即 时, 取得最大值,即 取得最大值
所以参数 的极大似然估计值为
注:该题第(1)较简单,就是按照题设所给新定义套公式;第(2)中的做法在高中生物中被叫作标记重捕法——测量某地区某生物种群密度的一种方法。该法一般是直接利用经验公式来大致求得某地区某生物的总数。这一问用极大似然估计解释了其原理;第 (3) 其实就是数学期望 为 1 正态分布,上文有求正态分布两个参数 极大似然估计的【典例 2】。
学科网(北京)股份有限公司
$$