内容正文:
第八章
成对数据的统计分析
8.3 列联表与独立性检验 8.3.2 独立性检验
1. 分类变量
用以区别不同的现象或性质的一种特殊的随机变量,称为分类变量.分类变量的取值可以用实数表示,例如,学生所在的班级可以用1,2,3等表示,男性、女性可以用1,0表示,等等.
2. 列联表
将形如下表这种形式的数据统计表称为2×2列联表. 2×2列联表给出了成对分类变量数据的交叉分类频数.
组别 甲(Y=0) 乙(Y=1) 合计
A(X=0) a b a+b
B(X=1) c d c+d
合计 a+c b+d a+b+c+d
复习回顾
新课导入
组别 甲(Y=0) 乙(Y=1) 合计
A(X=0) a b a+b
B(X=1) c d c+d
合计 a+c b+d a+b+c+d
前面我们通过2×2列联表整理成对分类变量的样本观测数据,并根据随机事件频率的稳定性推断两个分类变量之间是否有关联. 对于随机样本而言,因为频率具有随机性,频率与概率之间存在误差,所以我们的推断可能犯错误,而且在样本容量较小时,犯错误的可能性会较大. 因此,需要找到一种更为合理的推断方法,同时也希望能对出现错误推断的概率有一定的控制或估算.
问题情景
问题1 你知道法官是如何凭证据进行判案的吗?
先做一个无罪假设
找无罪假设下不可能出现的物证和人证。
找到了,假设不成立,嫌疑人有罪。
没找到,没有充分证据证明假设不成立,暂且认为无罪。
零假设:假设X,Y相互独立,无关联。
找零假设下不可能发生的事件。(利用小概率原理)
发生了,假设不成立,X,Y不独立,从而证明二者有关联。
没发生,没有充分证据证明假设不成立,暂且认为X,Y相互独立。
类比
追问1 我们是否可以类比法官判案的方式去判断两个分类变量X,Y是否有关联?
新知探究
问题2 设X和Y为定义在以Ω为样本空间上,且取值于{0, 1} 的成对分类变量,如何判断事件{X=1}和{Y=1}之间是否有关联?
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
由条件概率的定义可知,零假设H0等价于:
A与B相互独立 P(AB)=P(A)P(B)
A
B
事件A
事件B
事件AB
由此,零假设H0等价于{X=1}和{Y=1}独立.
我们需要判断下面的假定关系是否成立
H0: P(Y=1|X=0)=P(Y=1|X=1)
通常称H0为零假设或原假设
新知探究
问题2 设X和Y为定义在以Ω为样本空间上,且取值于{0, 1} 的成对分类变量,如何判断事件{X=1}和{Y=1}之间是否有关联?
根据已经学过的概率知识,下面的四条性质彼此等价:
零假设
如果这4个性质成立,
则称分类变量X和Y独立.
零假设H0:分类变量X和Y独立
②
我们可以用概率语言,将零假设改述为
新知探究
假定我们通过简单随机抽样得到了X和Y的抽样数据的2×2列联表,如下表所示.
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
②
对于随机样本,表中的频数a, b, c, d 都是随机变量,而表中的相应数据是这些随机变量的一次观测结果.
问题3 如何基于②中的四个等式及列联表中的数据,构造适当的统计量,对成对分类变量X和Y是否相互独立作出推断?
新知探究
问题3 如何基于②中的四个等式及列联表中的数据,构造适当的统计量,对成对分类变量X和Y是否相互独立作出推断?
②
在零假设H0成立的条件下,根据频率稳定于概率的原理, 由②中的第一个等式,可以得到
由频率估计概率,可以得到:
零假设H0:分类变量X和Y独立
{X=0,Y=0}发生的频数的期望值(预期值):E(a)
如果零假设成立, 与 a应该比较接近.
即: 的值应该不大
频数的观测值
新知探究
综合②中的四个式子,如果零假设H0成立,下面四个量的取值都不应该太大:
零假设H0:分类变量X和Y独立
为了平衡各式的差值的变化,构造一个方便科学的统计量:
概念生成
卡方统计量
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
追问1 卡方统计量有什么用呢?
统计学家建议,用随机变量 χ2取值 的大小作为判断零假设H0是否成立的依据。
如果零假设成立,则应该很小.
如果零假设不成立,则应该很大.
追问2 怎样确定判断大小的标准呢?
根据小概率事