内容正文:
8.3.2 独立性检验(1)
复习引入
2.2×2列联表
定义一对分类变量X和Y,我们整理数据如表所示:
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
上表是关于分类变量X和Y的抽样数据的2×2列联表:最后一行的前两个数分别是事件{Y=0}和{Y=1}的 ;最后一列的前两个数分别是事件{X=0}和{X=1}的
_;中间的四个数a,b,c,d是事件{X=x,Y=y}
(x,y=0,1)的 ;右下角格中的数n是 .
频数
频数
频数
样本容量
3.等高堆积条形图
等高堆积条形图和表格相比,更能直观地反映出两个分类变量间是否相互影响,常用等高堆积条形图展示列联表数据的 特征,依据____________ _的原理,我们可以推断结果.
频率
频率稳
频率稳定于概率
例1:为比较甲、 乙两所学校学生的数学水平,采用简单随机抽样的方法抽取88名学生. 通过测验得到了如下数据: 甲校43名学生中有10 名数学成绩优秀; 乙校45名学生中有7名数学成绩优秀. 试分析两校学生中数学成绩优秀率之间是否存在差异.
回顾上节课的例1
学校 数学成绩 合计
不优秀(Y=0) 优秀(Y=1)
甲校(X=0) 33 10 43
乙校(X=1) 38 7 45
合计 71 17 88
依据频率稳定于概率的原理,我们可以推断甲校学生数学成绩优秀的概率大于乙校学生数学成绩优秀的概率.
探究二:独立性检验
课本126页
思考:你认为“两校学生的数学成绩优秀率存在差异”这一结论是否有可能是错误的?
这一结论有可能是错误的.
事实上,“两校学生的数学成绩优秀率存在差异”这个结论是根据两个频率间存在差异推断出来的. 有可能出现这种情况:在随机抽取的这个样本中,两个频率间确实存在差异,但两校学生的数学成绩优秀率实际上是没有差别的.
对于随机样本而言,因为频率具有随机性,频率与概率之间存在误差,所以我们的推断可能犯错误,而且在样本容量较小时,犯错误的可能性会较大.
因此,需要找到一种更为合理的推断方法,同时也希望能对出现错误推断的概率有一定的控制或估算.
这里,P(Y=1|X=0)表示从{X=0}中随机选一个样本点,该样本
点属于{X=0, Y=1}的概率;P(Y=1|X=1)表示从{X=1}中随机选
一个样本点,该样本点属于{X=1, Y=1}的概率.
考虑以Ω为样本空间的古典概型. 设X和Y定义在Ω上,取值于
{0,1}的成对分类变量. 我们希望判断事件{X=1}和{Y=1}之间
是否有关联.
我们需要判断下面的假定关系
是否成立,通常称H0为零假设或原假设.
抽象简化列联表如下:
Y=0 Y=1
X=0 X=0,Y=0 X=0,Y=1
X=1 X=1,Y=0 X=1,Y=1
{X=1}与{Y=1}是否有关联呢?
注意到{X=0}与{X=1}对立, {Y=0}与{Y=1}对立,
零假设或原假设:
由条件概率的定义可知,零假设H0等价于
由于{X=0}和{X=1}为对立事件,故有
因此,零假设H0等价于{X=1}和{Y=1}独立.
Y=0 Y=1
X=0 X=0,Y=0 X=0,Y=1
X=1 X=1,Y=0 X=1,Y=1
根据已经学过的概率知识,下面的四条性质彼此等价:
{X=0}与{Y=0}独立
{X=0}与{Y=1}独立
{X=1}与{Y=0}独立
{X=1}与{Y=1}独立
②
如果这些性质成立,我们就称分类变量X和Y独立.
因此,我们可以用概率语言,将零假设改述为
H0: 分类变量X和Y独立.
思考:如何基于②中的四个等式及下列2×2列联表中的数据,构造适当的统计量,对成对分类变量X和Y是否相互独立作出推断?
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d a+b+c+d
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d a+b+c+d
{X=0,Y=0}发生的频数的期望值(或预期值)为
思考:如何衡量频数的期望值Ea与实际值a的差别呢?
如果零假设H0成立,下面四个量的取值都不应该太大:
反之,当这些量的取值较大时,就可以推断H0不成立.
显然,分别考虑上面四个差的绝对值很困难,我们需要找到
一个既合理又能够计算分布的统计量,来推断H0是否成立.
一般来说,若频数的期望值较大,则差的绝对值也会较大;
而若频数的期望值较小,则相应的差的绝对值也会较小. 为
了合理地平衡这种影响,我们将四个差的绝对值取平方后分
别除以相应的期望值再求和,得到如下的统计量:
该表达式可化简为
上述表达式是χ2的计算公式, χ2读作“卡方”.
卡方统计量
思考:卡方统计量有什么用呢?
随机变量χ2取值的大小可作为判断零假设H0是否成立的依据,
当它比较大时推断H0不成立,否则认为H0成立.
χ2计算公式:
思考:究竟χ2大到什么程度,可以推断H0不成立呢? 或者说,
怎样确定判断χ2大小的标准呢?
根据小概率事件在一次试验中不大可能发生的规律,上面的想法可以通过确定一个与H0相矛盾的小概率事件来实现.
在假定H0的条件下,对于有放回简单随机抽样,当样本容量
n充分大时,统计学家得到了χ2的近似分布. 忽略χ2的实际分
布与该近似分布的误差后,对于任何小概率值α,可以找到
相应的正实数xα,使得下面关系成立:
我们称xα为α的临界值,这个临界值就可以作为判断χ2大小的
标准.概率值α越小,临界值xα越大.
由P(χ2 ≥xα)=α可知,只要把概率值α取得充分小,在假设H0
的情况下,事件{χ2 ≥xα}是不大可能发生的. 根据这个规律,
如果该事件发生,我们就可以推断H0不成立.不过这个推断
有可能犯错误,但犯错误的概率不会超过α.
xα
α
概率值α越小,临界值xα越大.
基于小概率值α的检验规则是:
当χ2≥xα时,我们就推断H0不成立,即认为X和Y不独立,
该推断犯错误的概率不超过α;
当χ2<xα时,我们没有充分证据推断H0不成立,可以认为
X和Y独立.
这种利用χ2的取值推断分类变量X和Y是否独立的方法称
为χ2独立性检验,读作“卡方独立性检验”,简称独立性
检验.
下表给出了χ2独立性检验中几个常用的小概率值和相应
的临界值.
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
例如,对于小概率值α=0.05,我们有如下的具体检验规
则:
(1)当χ2 ≥x0.05=3.841时,我们推断H0不成立,即认为X和
Y不独立,该推断犯错误的概率不超过0.05;
(2)当χ2 <x0.05=3.841时,我们没有充分证据推断H0不成立,
可以认为X和Y独立.
解:零假设为H0: 分
类变量X与Y相互独
立,即两校学生的数
学成绩优秀率无差异.
例:依据小概率值α=0.1的χ2 独立性检验,分析例1(课本126)中的抽样数据,能否据此推断两校学生的数学成绩优秀率有差异?
学校 数学成绩 合计
不优秀(Y=0) 优秀(Y=1)
甲校(X=0) 33 10 43
乙校(X=1) 38 7 45
合计 71 17 88
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
根据小概率值α=0.1的χ2独立性检验,没有充分证据推断
H0不成立,因此可以认为H0成立,即认为两校的数学成
绩优秀率没有差异.
例题
课本131页
根据表中的数据,计算得到
思考:例1(课本126)和本例都是基于同一组数据的分
析,但却得出了不同的结论,你能说明其中的原因吗?
事实上,如前所述,例1只是根据一个样本的两个频率间
存在差异得出两校学生数学成绩优秀率有差异的结论,
并没有考虑由样本随机性可能导致的错误,所以例1的推
断依据不太充分.在本例中,我们用χ2独立性检验对零假
设H0进行了检验. 通过计算,发现χ2 ≈0.837小于α=0.1所
对应的临界值2.706,因此认为没有充分证据推断H0不成
立,所以接受H0 ,推断出两校学生的数学成绩优秀率没
有显著差异的结论. 这个检验结果意味着,抽样数据中
两个频率的差异很有可能是由样本随机性导致的. 因此,
只根据频率的差异得出两校学生的数学成绩优秀率有差
异的结论是不可靠的.
由此可见,相对于简单比较两个频率的推断,用χ2独立性
检验得到的结果更理性、更全面,理论依据也更充分.
练习
1.对196个接受心脏搭桥手术的病人和196个接受血管清障手术的
病人进行了3年的跟踪研究,调查他们是否又发作过心脏病,调查
结果如下表所示:
手术 心脏病 合计
又发作过 未发作过
心脏搭桥 39 157 196
血管清障 29 167 196
合计 68 324 392
试根据上述数据计算χ2≈__________,能否根据小概率值α=0.1的独立性检验作出这两种手术对病人又发作心脏病的影响有差别的结论________(填“能”或“不能”).
1.779
不能
χ2<2.076=x0.1,根据小概率值α=0.1的χ2独立性检验,我们没有充分的证据推断H0不成立,即认为这两种手术对病人又发作心脏病的影响无差别.
课本134页
2. 为考察某种药物A对预防疾病B的效果,进行了动物试验,根据105个有放回简单随机样本的数据,得到如下列联表:
依据α=0.05的独立性检验,分析药物A对预防疾病B的有效性.
药物A 疾病B 合计
未患病 患病
未服用 29 15 44
服用 47 14 61
合计 76 29 105
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
解:零假设为H0: 药物A与预防疾
病B无关联,即药物A对预防疾病
B没有效果,根据列联表中数据,
经计算得到
根据小概率值α=0.05的χ2独立性检验,没有充分证据推
断H0不成立,即可以认为药物A对预防疾病B没有效果.
则χ2约为( )
A.0.600 B.0.828 C.2.712 D.6.004
1.高二第二学期期中考试,按照甲、乙两个班学生的数学成绩优秀和及格统计人数后,得到如下列联表:
优秀 及格 合计
甲班 11 34 45
乙班 8 37 45
合计 19 71 90
随堂检测
2.下表是某届某校本科志愿报名时,对其中304名学生进入高校时是否知道想学专业的调查表:
知道想学专业 不知道想学专业 合计
男生 63 117 180
女生 42 82 124
合计 105 199 304
根据表中数据,则下列说法正确的是______.(填序号)
①性别与知道想学专业有关;
②性别与知道想学专业无关;
③女生比男生更易知道所学专业.
②
所以性别与知道想学专业无关.
3.学校举行运动会,为了搞好接待工作,组委会招募了16名男志愿者和14名女志愿者,调查发现,男、女志愿者中分别有10人和6人喜爱运动,其余人不喜爱运动.
(1)根据以上数据完成以下2×2列联表:
运动的喜好 合计
喜爱运动 不喜爱运动
男 10 16
女 6 14
合计 30
解:
喜爱运动 不喜爱运动 合计
男 10 6 16
女 6 8 14
合计 16 14 30
(2)根据列联表的独立性检验,能否在犯错误的概率不超过0.10的前提下认为性别与喜爱运动有关?
解:零假设为H0:喜爱运动与性别无关,由已知数据可得
因为1.157 5<2.706=x0.1,根据小概率值α=0.1的独立性检验,没有充分证据推断H0不成立,即认为性别与喜爱运动无关.
4.为了探究学生选报文、理科与对外语的兴趣是否有关,某同
学调查了361名高二在校学生,调查结果如下:理科生对外语有
兴趣的有138人,无兴趣的有98人,文科生对外语有兴趣的有73
人,无兴趣的有52人.试根据小概率值α=0.1的独立性检验,分
析学生选报文、理科与对外语的兴趣是否有关?
解:零假设为H0:选报文、理科与对外语的兴趣无关.
列出2×2列联表
对外语兴趣 选报文、理科 合计
理 文
有 138 73 211
无 98 52 150
合计 236 125 361
代入公式得
∵1.871×10-4<2.706=x0.1,
根据小概率值α=0.1的χ2独立性检验,没有充分证据推断H0不成立,即选报文、理科与对外语的兴趣无关.
5.为了检验两种不同的课堂教学模式对学生的成绩是否有影响,现从高二年级的甲(实行“问题—探究式”模式)、乙(实行“自学—指导式”模式)两个班中每班任意抽取20名学生进行测试,他们的成绩(总分150分)如下.
甲班: 88 92 95 98 103 108 110 112 118 118 120 121 126 132 134 135 140 142 146 148
乙班: 96 97 104 107 108 108 114 117 119 121 124 124 125 127 132 135 135 137 138 147
记成绩在120分以上(包括120分)为优秀,其他的成绩为一般,试根据小概率值α=0.1的独立性检验,分析这两种课堂教学模式对学生的成绩是否有影响.
解:零假设为H0:课堂教学模式与学生的成绩相互独立.根据题中所给数据得到如下2×2列联表:
班级 成绩 合计
优秀 一般
甲班 10 10 20
乙班 11 9 20
合计 21 19 40
由卡方计算公式,可得
没有充分证据推断H0不成立,因此可以认为H0成立,即两种课堂
教学模式对学生的成绩没有影响.
课堂小结
1. 小概率值α的临界值:
忽略χ2的实际分布与该近似分布的误差后,对于任何小概率
值α,可以找到相应的正实数xα,使得P(χ2 ≥xα)=α成立. 我们
称xα为α的临界值,这个临界值就可作为判断χ2大小的标准,
概率值α越小,临界值xα越大.
2. χ2计算公式:
3. 基于小概率值α的检验规则是:
当χ2≥xα时,我们就推断H0不成立,即认为X和Y不独立,该
推断犯错误的概率不超过α;
当χ2<xα时,我们没有充分证据推断H0不成立,可以认为X和
Y独立.
课外作业
课本134页
2. 根据同一抽查数据推断两个分类变量之间是否有关联,应用不同的小概率值,是否会得出不同的结论? 为什么?
解:可能会得出不同的结论. 理由如下:
对同一抽样数据,计算出来的χ2的值是确定的,在独立性检验中,基于不同的小概率值α的检验规则,对应不同的临界值x0,其与χ2的大小关系可能不同,相当于检验的标准发生变化,因此结论可能会不同.
性质
1.分类变量
用以区别不同的______或______的一种特殊的随机变量,称为分类变量.分类变量的取值可以用实数表示,例如,学生所在的班级可以用1,2,3等表示,男性、女性可以用1,0表示,等等.
现象
解析:零假设为H0:这两种手术对病人又发作心脏病的影响无差别.根据列联表中的数据,可以求得
χ2=eq \f(392×(39×167-29×157)2,68×324×196×196)≈1.779.
χ2=eq \f(361×(138×52-73×98)2,236×125×211×150)≈1.871×10-4.
《选择性必修第三册》
“综合运用”7.
$$