概率与信息熵讲义-2026届高三数学一轮复习

一、这道简单信息熵概率新定义 【安徽合肥 25 届高三二检 T19】当前,以大语言模型为代表的人工智能技术正蓬勃发展, 而数学理论和方法在这些模型的研发中, 发挥着重要作用. 例如,当新闻中分别出现 “ 7 点钟,一场大火在郊区燃起” 和 “ 7 点钟,太阳从东方升起" 这两个事件的描述时, 它们提供的 “信息量” 是不一样的, 前者比后者要大, 会吸引人们更多关注. 假设通常情况下,它们发生的概率分别是 和 ,用 这个量来刻画 “信息量” 的大小, 计算可得前者约为 9 , 后者接近于 0 . 现在,假设离散型随机变量 的分布列为 ,则称 为 的信息熵,用来刻画随机变量 蕴含的信息量的大小. (1)若 的分布列为 , , . 求 的最大值； (2)证明: ; (3)若 ,且 为定值,设 ,证明: 解析: ( 1 )由题意知, 其中 令 ,则 所以当 时, 在 上单调递增 当 时, 在 上单调递减. 所以 在 时取得最大值,且最大值为 (2)要证 ,即证 因为 其中,等号仅在 ,即 时成立 所以 (3)由题意知 由 易知 所以 即得 二、信息熵简介 在信息论中, 熵 (entropy) 是接收的每条消息中包含的信息的平均量, 又被称为信息熵、 信源熵、平均自信息量. 这里, “消息”代表来自分布或数据流中的事件、样本或特征. (熵最好理解为不确定性的量度而不是确定性的量度, 因为越随机的信源的熵越大) 来自信源的另一个特征是样本的概率分布. 这里的想法是, 比较不可能发生的事情, 当它发生了, 会提供更多的信息. 由于一些其他的原因,把信息(熵)定义为概率分布的对数的相反数是有道理的. 事件的概率分布和每个事件的信息量构成了一个随机变量, 这个随机变量的均值 (即期望) 就是这个分布产生的信息量的平均值(即熵). 熵的单位通常为比特,但也用 Sh、nat、Hart 计量,取决于定义用到对数的底. 采用概率分布的对数作为信息的量度的原因是其可加性. 例如,投掷一次硬币提供了 的信息,而掷 次就为 位. 更一般地,你需要用 位来表示一个可以取 个值的变量. 在 1948 年,克劳德 艾尔伍德 香农将热力学的熵,引入到信息论, 因此它又被称为香农熵. 三、模考中有关信息熵的题目 【24 届苏北七市三调 T19】“熵”常用来判断系统中信息含量的多少,也用来判断概率分布中随机变量的不确定性大小, 一般熵越大表示随机变量的不确定性越明显. 定义: 随机变量 对应取值 的概率为 ,其单位为 bit 的熵为 ,且 . (当 ,规定 .) (1)若抛掷一枚硬币 1 次,正面向上的概率为 ,正面向上的次数为 ,分别比较 与 时对应 的大小,并根据你的理解说明结论的实际含义; (2)若抛掷一枚质地均匀的硬币 次,设 表示正面向上的总次数, 表示第 次反面向上的次数 表示正面向上 次且第 次反面向上 次的概率,如 时, . 对于两个离散的随机变量 ,其单位为 bit 的联合熵记为 且 (i) 当 时,求 的值; (ii) 求证: 解析: (1) 时, 时, 说明硬币质地均匀时, 抛掷正面向上的不确定性更大. (2) (i) 当 时,(X, Y)的分布列 所以 (ii) 当 时,第 次正面向上,前 次中有 次正面向上 所以 当 时,第 次反面向上,前 次中有 次正面向上 所以 所以 由 ,则 所以 【湖南新高考教学教研联盟 24 届高三一联 T19】2023 年 10 月 11 日,中国科学技术大学潘建伟团队成功构建 255 个光子的量子计算机原型机“九章三号”, 求解高斯玻色取样数学问题比目前全球最快的超级计算机快一亿亿倍,相较传统计算机的经典比特只能处于0态或 1 态,量子计算机的量子比特 (qubit) 可同时处于0与 1 的叠加态,故每个量子比特处于0 态或 1 态是基于概率进行计算的. 现假设某台量子计算机以每个粒子的自旋状态作为量子比特, 且自旋状态只有上旋与下旋两种状态,其中下旋表示 “ 0 ”,上旋表示 “ 1 ”,粒子间的自旋状态相互独立,现将两个初始状态均为叠加态的粒子输入第一道逻辑门后, 粒子自旋状态等可能的变为上旋或下旋, 再输入第 二道逻辑门后, 粒子的自旋状态有户的概率发生改变, 记通过第二道逻辑门后的两个粒子中上旋粒子的个数为 . (1)若通过第二道逻辑门后的两个粒子中上旋粒子的个数为 2 ,且 ,求两个粒子通过第一道逻辑门后上旋粒子个数为 2 的概率； (2)若一条信息有 种可能的情况且各种情况互斥,记这些情况发生的概率分别为 则称 (其中 )为这条信息的信息熵,试求两个粒子通过第二道逻辑门后上旋粒子个数为 的信息熵 ; (3)将一个下旋粒子输入第二道逻辑门, 当粒子输出后变为上旋粒子时则停止输人, 否则重复输入第二道逻辑门直至其变为上旋粒子, 设停止输入时该粒子通过第二道逻辑门的次数为 证明: 当 无限增大时, 的数学期望趋近于一个常数. 参考公式: 时, . 解析: (1)设 “两个粒子通过第一道逻辑门后上旋粒子个数为 个”, . 设 “两个粒子通过第二道逻辑门后上旋粒子个数为 2 个” 则 则 注: 红色部分即为贝叶斯公式 (2)由题意得 可能取值有0,1,2 则 的分布列为 故 的信息熵为 注: 设随机变量 所有取值为 ,定义 的信息熵为 (3) 由题意得 ,其中 记 ,所以 注: 以上分布其实是几何分布,其期望就是 ,另外在求期望过程中利用的是差比数列裂项法。 【典例 1】设随机变量 所有取值为 ,定义的信息 熵 . (1)若 ,试探索 的信息熵关于 的解析式,并求其最大值； (2)若 ,求此时的信息熵. 解析: (1) 当 时, , 令 所以函数 在 上单调递增,在 上单调递减 所以当 时, 取得最大值,最大值为 (2)因为 于是 令 则 两式相减得 所以 【典例 2】信息熵是信息论中的一个重要概念. 设随机变量 所有可能的取值为 ,且 ,定义 的信息熵 . 下列正确的为 ( ) A. 若 ,则 B. 若 ,则 随着 的增大而增大 C. 若 ,则 随着 的增大而减小 D. 若 ,随机变量 所有可能的取值为 ,且 ,则 解析: 对于 . 选项,当 时, ,则 . 选项正确; 对于 . 选项,当 时, ,则 ,其中 当 时, 当 时, 两者相等, B. 选项错误; 对于 . 选项,若 , 则 所以 随着 的增大而增大, C. 选项错误; 对于 . 选项,若 ,则 又随机变量 所有可能的取值为 ,且 ,则 D. 选项正确. 故选: AD. 学科网（北京）股份有限公司 $$ ( 第 1 页 共 4 页 ) 一、这道简单信息熵概率新定义 【安徽合肥25届高三二检T19】 当前，以大语言模型为代表的人工智能技术正蓬勃发展，而数学理论和方法在这些模型的研发中，发挥着重要作用. 例如, ，当新闻中分别出现 “ 7 点钟，一场大火在郊区燃起” 和 “ 7 点钟，太阳从东方升起" 这两个事件的描述时，它们提供的 “信息量” 是不一样的，前者比后者要大，会吸引人们更多关注. 假设通常情况下，它们发生的概率分别是 和 ，用 这个量来刻画 “信息量” 的大小，计算可得前者约为 ，后者接近于 . 现在，假设离散型随机变量 的分布列为 ， ， ，，， ，则称 为 的信息熵，用来刻画随机变量 蕴含的信息量的大小. （1） 若 的分布列为 ， ， . 求 的最大值； （2） 证明： ； （3） 若 ，且 为定值，设 ，证明： 解析： （1） （2） （3） 二、信息熵简介 在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量 . 这里，“消息”代表来自分布或数据流中的事件､样本或特征.（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大）来自信源的另一个特征是样本的概率分布.这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息 . 由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的 . 事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）. 熵的单位通常为比特，但也用 、、 计量，取决于定义用到对数的底.采用概率分布的对数作为信息的量度的原因是其可加性 . 例如，投掷一次硬币提供了 的信息，而掷 次就为 位.更一般地，你需要用 位来表示一个可以取 个值的变量 . 在1948年，克劳德•艾尔伍德•香农将热力学的熵，引入到信息论，因此它又被称为香农熵 . 三、模考中有关信息熵的题目 【24届苏北七市三调T19】 “熵”常用来判断系统中信息含量的多少，也用来判断概率分布中随机变量的不确定性大小，一般熵越大表示随机变量的不确定性越明显. 定义：随机变量 对应取值 的概率为 ，其单位为 的熵为 ，且 . （当 ，规定 .） （1） 若抛掷一枚硬币 次，正面向上的概率为 ，正面向上的次数为 ，分别比较 与 时对应 的大小，并根据你的理解说明结论的实际含义； （2） 若抛掷一枚质地均匀的硬币 次，设 表示正面向上的总次数， 表示第 次反面向上的次数（ 或 ）. 表示正面向上 次且第 次反面向上 次的概率，如 时， . 对于两个离散的随机变量 ，其单位为 的联合熵记为 且 （i） 当 时，求 的值； （ii） 求证： 解析： （1） （2） （i） （ii） 【湖南新高考教学教研联盟24届高三一联T19】 年 月 日，中国科学技术大学潘建伟团队成功构建 个光子的量子计算机原型机“九章三号”，求解高斯玻色取样数学问题比目前全球最快的超级计算机快一亿亿倍，相较传统计算机的经典比特只能处于 态或 态，量子计算机的量子比特（qubit）可同时处于 与 的叠加态，故每个量子比特处于 态或 态是基于概率进行计算的 . 现假设某台量子计算机以每个粒子的自旋状态作为量子比特，且自旋状态只有上旋与下旋两种状态,其中下旋表示 “ ”，上旋表示 “ ”，粒子间的自旋状态相互独立，现将两个初始状态均为叠加态的粒子输人第一道逻辑门后，粒子自旋状态等可能的变为上旋或下旋，再输入第二道逻辑门后，粒子的自旋状态有户的概率发生改变，记通过第二道逻辑门后的两个粒子中上旋粒子的个数为 . （1） 若通过第二道逻辑门后的两个粒子中上旋粒子的个数为 ，且 ，求两个粒子通过第一道逻辑门后上旋粒子个数为 的概率； （2） 若一条信息有 （ ， ）种可能的情况且各种情况互斥，记这些情况发生的概率分别为 则称 （其中 ）为这条信息的信息熵，试求两个粒子通过第二道逻辑门后上旋粒子个数为 的信息熵 ； （3） 将一个下旋粒子输人第二道逻辑门，当粒子输出后变为上旋粒子时则停止输人，否则重复输入第二道逻辑门直至其变为上旋粒子，设停止输入时该粒子通过第二道逻辑门的次数为 （ ，，，，，）证明：当 无限增大时， 的数学期望趋近于一个常数. 参考公式： 时， ， 解析： （1） （2） （3） 【典例1】 设随机变量 所有取值为 ，定义的信息熵 ，（ ， ）. （1） 若 ，试探索 的信息熵关于 的解析式，并求其最大值； （2） 若 ， （ ），求此时的信息熵. 解析： （1） （2） 【典例2】 信息熵是信息论中的一个重要概念.设随机变量 所有可能的取值为 ，且 （ ）， ，定义 的信息熵 下列正确的为（ ） 若 ，则 若 ，则 随着 的增大而增大 若 ，则 随着 的增大而减小 若 ，随机变量 所有可能的取值为 ，且 ，则 0 解析： 学科网（北京）股份有限公司 $$