内容正文:
8.3列联表与独立性检验
8.3.2 独立性检验
(1)数值变量的取值为实数,其大小和运算都有实际含义。如人的身高、树的胸径、树的高度、短跑100m世界纪录和创纪录的时间等。
(2)分类变量的取值表示个体所属的类别,用以区别不同的现象或性质。
如性别变量是分类变量,取男、女两个值;考试等级是分类变量,取优、良,中等,及格、不及格五个值,等等。
分类变量的取值可以用实数表示,这些数值只作为编号使用,并没有通常的大小和运算意义。
例如,用0表示“男”,用1表示“女”,性别变量这个分类变量的取值就变成0和1,但这里0和1仅作分类用,没有其他含义.
我们主要讨论取值于{0,1}的分类变量的关联性问题。
1.数值变量与分类变量
复习引入
讲课人:邢启强
‹#›
2.列联表
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
分类变量X和Y的抽样数据的2✖2列联表:
用途:可以清晰的给出成对分类变量数据的交叉分类频数。
在实践中,由于保存原始数据的成本较高,人们经常按研究问题的需要,将数据分类统计,并做成表格加以保存,我们将下表这种形式的数据统计表称为2×2列联表(contingency table).
讲课人:邢启强
‹#›
3.两个分类变量之间关联关系的定性分析的方法:
(1)频率分析法:通过对样本的每个分类变量的不同类别事件发生的频率大小进行比较来分析分类变量之间是否有关联关系.
如可以通过列联表中值的大小粗略地判断分类变量x和Y之间有无关系.一般其值相差越大,分类变量有关系的可能性越大.
(2)图形分析法:与表格相比,图形更能直观地反映出两个分类变量间是否互相影响,常用等高堆积条形图展示列联表数据的频率特征.将列联表中的数据用高度相同的两个条形图表示出来,其中两列的数据分别对应不同的颜色,这就是等高堆积条形图.
讲课人:邢启强
‹#›
前面我们通过2×2列联表整理成对分类变量的样本观测数据,并根据随机事件频率的稳定性推断两个分类变量之间是否有关联. 对于随机样本而言,因为频率具有随机性,频率与概率之间存在误差,所以我们的推断可能犯错误,而且在样本容量较小时,犯错误的可能性会较大. 因此,需要找到一种更为合理的推断方法,同时也希望能对出现错误推断的概率有一定的控制或估算.
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
X和Y的抽样数据列联表
讲课人:邢启强
‹#›
学习新知
假设H0表示分类变量X和Y独立
(通常称H0为零假设或原假设)
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
请同学们先阅读教材P128-129, 有问题请提问。
∴ |ad-bc|越小,说明两个分类变量之间的关系越弱;
|ad-bc|越大,说明两个分类变量之间的关系越强.
X和Y的抽样数据列联表
讲课人:邢启强
‹#›
为了使不同样本容量的数据有统一的评判标准,我们构造一个随机变量
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
X和Y的抽样数据列联表
1.独立性检验公式及定义
统计学家建议,用随机变量取值的大小作为判断零假设是否成立的依据,当它比较大时推断不成立,否则认为成立.
讲课人:邢启强
‹#›
2.临界值的定义
对于任何小概率值α,可以找到相应的正实数xα,使得P(χ2≥xα)=α成立,我们称xα为α的临界值,这个临界值可作为判断χ2大小的标准,概率值α越小,临界值xα越大.
10.828
7.879
6.635
3.841
2.706
xα
0.001
0.005
0.01
0.05
0.1
α
统计学家们根据统计数据得到了如下的χ2临界值表:
基于小概率值α的检验规则:
这种利用χ2的取值推断分类变量X和Y是否独立的方法称为χ2独立性检验,读作“卡方独立性检验”,简称独立性检验.
讲课人:邢启强
‹#›
统计学家们根据统计数据得到了如下的χ2临界值表:
例如,对于一个小概率值α=0.05,有如下的具体检验规则:
(1)当 χ2x0.05=3.841 时,我们推断 H0 不成立,即认为X与Y不独立,该推断犯错误的概率不超过0.05;
(2)当 χ2˂x0.05=3.841 时,我们没有充分证据推断 H0 不成立,可以认为X与Y独立.
10.828
7.879
6.635
3.841
2.706
xα
0.001
0.005
0.01
0.05
0.1
α
讲课人:邢启强
‹#›
例2 依据小概率值=0.1的 χ2 独立性检验,分析上节例1中的抽样数据,能否据此推断两校学生的数学成绩优秀率有差异?
例1 采用简单随机抽样的方法得到了如下数据:甲校43名学生中有10名数学成绩优秀;乙校45名学生中有7名数学成绩优秀 . 试分析两校学生中数学成绩优秀率之间是否存在差异.
解:列2×2列联表
零假设为
H0:分类变量X与Y相互独立,即两校学生的数学成绩优秀率无差异.
根据上表中的数据,计算得到
根据小概率值α=0.1的卡方独立性检验,没有充分证据推断H0不成立.因此可以认为H0成立,即认为两校的数学成绩优秀率没有差异.
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
讲课人:邢启强
‹#›
思考:例1和例2基于同一组数据的分析的两种分析方法(条件概率法和卡方独立性检验法),但却得出了不同的结论,你能说明其中的原因吗?
事实上,例1只是根据一个样本的两个频率间存在差异得出两校学生数学成绩优秀率有差异的结论,并没有考虑由样本随机性可能导致的错误,所以例1的推断依据不太充分.
在例2中,我们用χ2独立性检验对零假设H0进行了检验. 通过计算,发现χ2 ≈0.837小于α=0.1所对应的临界值2.706,因此认为没有充分证据推断H0不成立,所以接受H0 ,推断出两校学生的数学成绩优秀率没有显著差异的结论。
这个检验结果意味着,抽样数据中两个频率的差异很有可能是由样本随机性导致的. 因此,只根据频率的差异得出两校学生的数学成绩优秀率有差异的结论是不可靠的.
由此可见,相对于简单比较两个频率的推断:
用χ2独立性检验得到的结果更理性、更全面,理论依据也更充分.
讲课人:邢启强
‹#›
解决独立性检验问题的基本步骤
假设
列表
计算
比较
结论
提出零假设
认真读题,根据相关数据列出2×2列联表
代入公式求出χ2的值
将求出χ2的值与临界值xα进行比较
由比较结果得出相应结论
讲课人:邢启强
‹#›
例3.某儿童医院用甲、乙两种疗法治疗小儿消化不良. 采用有放回简单随机抽样的方法对治疗情况进行检查,得到了如下数据: 抽到接受甲种疗法的患儿67名,其中未治愈15名,治愈52名; 抽到接受乙种疗法的患儿69名,其中未治愈6名,治愈63名. 试根据小概率值α=0.005的独立性检验,分析乙种疗法的效果是否比甲种疗法好.
解: 零假设为H0:疗法与疗效独立,即两种疗法效果没有差异.
疗法 疗效 合计
未治愈 治愈
甲 15 52 67
乙 6 63 69
合计 21 115 136
由已知数据列出2×2列联表,如下:
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
根据小概率值α=0.005的χ2独立性检验,没有充分证据推断H0不成立,因此可以认为H0成立,即认为两种疗法效果没有差异.
讲课人:邢启强
‹#›
对犯错误概率的解释
在零假设H0成立的前提下,随着小概率值α的逐渐减小, χ2统计量对应的临界值xα逐渐增大,则事件{χ2 ≥xα}越来越不容易发生,零假设越来越不容易被拒绝;随着小概率值α的逐渐增大, χ2统计量对应的临界值xα逐渐减小,则事件{χ2 ≥xα}越来越容易发生,零假设越来越容易被拒绝.
例如,对于例3中的数据,经计算得χ2 ≈4.881.
(1) 当小概率值α=0.005时,x0.005=7.879, 此时χ2 ≈4.881<7.879,则没有充分理由拒绝零假设. 因此可以接受H0,即认为两种疗法的效果没有差异.
(2)当小概率值α=0.05时,x0.05=3.841,此时χ2 ≈4.881>3.841,则拒绝零假设,即认为两种疗法的效果有差异,该推断犯错误的概率不超过0.05.
(3)当小概率值α=0.1时,x0.05=2.706, 此时χ2 ≈4.881>2.706,则拒绝零假设,即认为两种疗法的效果有差异,该推断犯错误的概率不超过0.1.
讲课人:邢启强
‹#›
追问1:若对调两种疗法的位置或对调两种疗效的位置,这样做会影响取值的计算结果吗?
不影响
疗法 疗效 合计
未治愈 治愈
甲 15 52 67
乙 6 63 69
合计 21 115 136
疗法 疗效 合计
未治愈 治愈
乙 6 63 69
甲 15 52 67
合计 21 115 136
疗法 疗效 合计
治愈 未治愈
甲 52 15 67
乙 63 6 69
合计 115 21 136
例1:某儿童医院用甲、乙两种疗法治疗小儿消化不良.采用有放回简单随机抽样的方法对治疗情况进行检查,得到了如下数据:抽到接受甲种疗法的患儿67名,其中未治愈15名,治愈52名;抽到接受乙种疗法的患儿69名,其中未治愈6名,治愈63名.试根据小概率值=0.005的独立性检验,分析乙种疗法的效果是否比甲种疗法好.
例3.
讲课人:邢启强
‹#›
15
追问2:根据小概率值=0.05的独立性检验,分析乙种疗法的效果是否比甲种疗法好.
解:零假设为H0:疗法与疗效独立,即两种疗法效果没有差异.
将所给数据进行整理,得到两种疗法治疗数据的列联表,
疗法 疗效 合计
未治愈 治愈
甲 15 52 67
乙 6 63 69
合计 21 115 136
根据小概率值=0.05的独立性检验,我们推断 H0不成立,即可以认为两种疗法效果有差异,该推断犯错误的概率不超过0.05.
例1:某儿童医院用甲、乙两种疗法治疗小儿消化不良.采用有放回简单随机抽样的方法对治疗情况进行检查,得到了如下数据:抽到接受甲种疗法的患儿67名,其中未治愈15名,治愈52名;抽到接受乙种疗法的患儿69名,其中未治愈6名,治愈63名.试根据小概率值=0.005的独立性检验,分析乙种疗法的效果是否比甲种疗法好.
根据列联表中的数据,经计算得到
10.828
7.879
6.635
3.841
2.706
xα
0.001
0.005
0.01
0.05
0.1
α
例3.
讲课人:邢启强
‹#›
追问2:根据小概率值=0.05的独立性检验,分析乙种疗法的效果是否比甲种疗法好.
解:
甲种疗法未治愈和治愈的频率分别是和
乙种疗法未治愈和治愈的频率分别是和0.913.
因此可以推断乙种疗法的效果比甲种疗法好。
讲课人:邢启强
‹#›
例4:为了调查吸烟是否对肺癌有影响,某肿瘤研究所采取有放回简单随机抽样,调查了9965人,得到如下结果(单位:人)依据小概率值α=0.001的独立性检验,分析吸烟是否会增加患肺癌的风险。
解:零假设为H0:吸烟和患肺癌之间没有关系.根据列联表中的数据,经计算的
χ2 =
>
根据小概率值α=0.001的独立性检验,推断H0不成立,即认为吸 烟与患肺癌有关联,此推断犯错误的概率不大于0.001,即我们有99.9%的把握认为“吸烟与患肺癌有关系”.
吸烟 肺癌 合计
非肺癌患者 肺癌患者
非吸烟者 7775 42 7817
吸烟者 2099 49 2148
合计 9874 91 9965
10.828
7.879
6.635
3.841
2.706
xα
0.001
0.005
0.01
0.05
0.1
α
单击此处编辑母版文本样式
第二级
第三级
第四级
第五级
讲课人:邢启强
‹#›
根据表中的数据计算不吸烟者中不患肺癌和患肺癌的频率分别为
吸烟者中不患肺癌和患肺癌的评率分别为
由
可见,在被调查者中,吸烟者患肺癌的频率是不吸烟者患肺癌频率的4倍以上。于是,根据频率稳定于概率的原理,我们可以认为吸烟者患肺癌的概率明显大于不吸烟者患肺癌概率,即吸烟更容易引发肺癌。
吸烟 肺癌 合计
非肺癌患者 肺癌患者
非吸烟者 7775 42 7817
吸烟者 2099 49 2148
合计 9874 91 9965
讲课人:邢启强
‹#›
方法总结
(1)提出零假设H0:X和Y相互独立,并给出在问题中的解释.
(2)根据抽样数据整理出2×2列联表,计算的值,并与临界值比较.
(3)根据检验规则得出推断结论.
(4)在X和Y不独立的情况下,根据需要,通过比较相应的频率,分析X和Y间的影响规律.
应用独立性检验解决实际问题大致应包括以下几个主要环节:
注意:上述几个环节的内容可以根据不同情况进行调整,
例如,在有些时候,分类变量的抽样数据列联表是问题中给定的.
P(χ2≥x0) 0.50 0.40 0.25 0.15 0.10 0.05 0.025 0.010 0.005 0.001
x0 0.455 0.708 1.323 2.072 2.706 3.841 5.024 6.635 7.879 10.828
讲课人:邢启强
‹#›
思考: 独立性检验的思想类似于我们常用的反证法,你能指出二者之间的相同和不同之处吗?
简单地说,反证法是在某种假设H0之下,推出一个矛盾结论,从而证明H0不成立;而独立性检验是在零假设H0之下,如果出现一个与H0相矛盾的小概率事件,就推断H0不成立,且该推断犯错误的概率不大于这个小概率. 另外,在全部逻辑推理正确的情况下,反证法不会犯错误,但独立性检验会犯随机性错误.
独立性检验的本质是比较观测值与期望值之间的差异,由χ2所代表的这种差异的大小是通过确定适当的小概率值进行判断的. 这是一种非常重要的推断方法,不仅有相当广泛的应用,也开启了人类认识世界的一种新的思维方式.
讲课人:邢启强
‹#›
2.独立性检验的一般步骤:
1.χ2统计量
(1)提出零假设H0:X和Y相互独立,并给出在问题中的解释.
(2)根据抽样数据整理出2×2列联表,计算的值,并与临界值比较.
(3)根据检验规则得出推断结论.
(4)在X和Y不独立的情况下,根据需要,通过比较相应的频率,分析X和Y间的影响规律.
小概率值α的检验规则:
当≥时,我们就推断 H0 不成立,即认为X和Y不独立,该推断犯错误的概率不超过;
当<时,我们没有充分证据推断 H0 不成立,可以认为X和Y独立.
课堂小结
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
讲课人:邢启强
‹#›
$$