5 大数定律和中心极限定理（课件）- 《概率论与数理统计》同步教学（电工版·2020）

概率论与数量统计 大数定律和中心极限定理 第五章 我们知道，随机事件发生的频率具有一定的统计规律性，即随着试验次数的增加，频率逐渐逼近并稳定于一个常数，这就是事件发生的概率。实际上，大量随机现象和的平均结果一般也具有概率稳定性，即大量随机现象共同作用产生的平均结果，无论每个随机现象具有什么特征，其概率分布都几乎是确定的，与每个随机现象服从的概率分布无关。例如，一个班的学生的平均考试成绩由全班几十名同学的成绩共同确定，我们知道，这个量的波动程度非常小；一个城市的耗电量是大量用户的耗电量之和，尽管各用户的用电情况不同，但城市的总用电量随时间变化的曲线却几乎每天都相同。 概率论中用来阐明大量随机现象和的平均结果的概率稳定性的一系列定理,称为大数定律(law of large numbers)、大数定律揭示了随机现象的偶然性与必然性之间的联系。中心极限定理(central limit theorem）是用来描述随机变量和的概率分布变化趋势的一系列定理，并因这个问题长期处于概率论研究的中心地位而得名。 01 大数定律 大数定律 01 在前面学习概率的定义时，我们就知道了一个事实，即随机事件发生的频率随着试验次数的增加逐渐稳定于概率，但仅根据现实生活里的一些可观察的随机事件做了表面说明，并未从根本上加以理论证明。 在例1.2.1中，我们看到频率逐渐稳定于p=0.67。为从理论上探讨这个问题，此处引入随机变量 可以看出，为n个随机变量和的算术平均，仍为随机变量，表示n次抽样抽出次品的频率值为独立进行n次抽样后的取值。 大数定律 01 设A：抽取正品，P(A)= p 。现抽取n次，若能够证明当n→+∞时，A发生的频率稳定于p=0.67，也就证明了当n→+∞时稳定于p=0.67。这种稳定性是否可用高等数学中讨论的数列收敛来描述呢?即判断是否有 根据数列收敛的定义，上式成立白多伪容可翻译意正数，当n足够大时，总有||< 由于事件A发生具有随机性，因此上述条件显然是不能实现的。可以想象，若进行了n次抽取，无论n多大，则n次全部都是次品这种现象都可能发生。在n重伯努利试验中，事件A一次也未出现的概率可由伯努利公式求得，即 于是在这种情况下，对任何0<<p，有 大数定律 01 尽管如此，我们注意到 即随着n的增大，事件A在n次试验中一次也不出现的概率趋向于零。这使我们想到是否会有：对任意>0 ， 即 上式说明当n→+∞时，→p的概率为1。 大数定律 01 历史上，伯努利首先从理论上证明了在上述极限意义下，事件的频率以其概率为极限，这样概率的定义就有了现实意义，而且在实际问题中，我们通常以事件发生的频率近似代替其概率，也就有了理论依据。于是有了下面的依概率收敛的定义。 定义5.1 设是一个随机变量序列，α是一个常数，若对于任意正数，有 则称序列依概率收敛于α，记为。 定理5.1（伯努利大数定律）设事件A在每次试验中出现的概率为，将试验独立地进行次，记为事件A出现的次数，则对于任意的整数，有 大数定律 01 定理5.1的证明过程 证明：记，则，故 数学期望和方差的性质，有 于是根据切比雪夫不等式，便得 即 大数定律 01 定理5.2（切比雪夫大数定律）设{}是一列相互独立的随机变量，若存在常数C，使，则对于任意正整数，有 定理5.3（辛钦大数定律) 设相互独立的随机变量有相同的分布，且，，则对于任意正整数，有 大数定律 01 定理5.2的证明过程 证明：由于相互独立，那么对于任意的，相互独立，于是有 令 ，则由切比雪夫不等式有 令，则有 即 大数定律 01 切比雪夫大数定律表明，在所给条件下，当n→+∞时，n个随机变量的算术平均值几乎变成一个常数，这和我们日常的经验一致。例如用不同的方法观测一个物理量a共n次，得测量值。这可视为n个独立随机变量所取的值，每个值都具有随机性，但常取 这是因为 它表明，当n很大时， 是一个很小的量。因此，平均值 将比较密集地 聚集在它的数学期望周围，这正是 切比雪夫大数定律所阐明的意义。 02 中心极限定理 中心极限定理 02 大数定律指出，对任意一列独立随机变量{}， 但是对于固定的和， 即 究竟有多大呢?大数定律并未回答这个问题。它所涉及的是，当→+∞时，个随机变量 的和 服从什么分布的问题。 中心极限定理 02 下面的定理称为林德伯格-列维(Lindeberg-Levy)中心极限定理，也称独立同分布的中心极限定理。 定理5.4 设是一列相互独立的随机变量，它们服从相同的分布，且数学 期望和方差均有限，令 则的标准化随机变量的分布函数对于任意均