内容正文:
8.3.2 独立性检验
8.3 列联表与独立性检验
1.2×2列联表 —— 给出了两个分类变量数据的交叉分类频数
2.判断两个分类变量之间是否具有关联性的三种方法
图形分析法
频率分析法
条件概率法
这样得出的结论是否会出现错误呢?是由什么引起的?
复习回顾:
频率具有随机性,与概率之间存在差异
样本容量较小时,犯错误的概率较大
找到一种更为合理的推断方法
制作:维度... text has been truncated due to evaluation version limitation.
2
独立性检验
独立性检验是一种“概率反证法”。依据是小概率原理(在一次实验中几乎不可能发生)
类似法官凭证据判案:
先做一个无罪假设
找无罪假设下不可能出现的物证和人证。
找到了,假设不成立,嫌疑人有罪。
没找到,没有充分证据证明假设不成立,暂且认为无罪。
零假设:假设X,Y相互独立,无关联。
找零假设下不可能发生的事件。(利用小概率原理)
发生了,假设不成立,X,Y不独立,从而证明二者有关联。
没发生,没有充分证据证明假设不成立,暂且认为X,Y相互独立。
类比
思考:试判断事件{x=1}与{y=1}之间是否有关联?
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
零假设
由条件概率的定义可知,零假设H0等价于:
A与B相互独立 P(AB)=P(A)P(B)
A
B
事件A
事件B
事件AB
由此,零假设H0等价于{X=1}和{Y=1}独立.
零假设:假设X,Y相互独立
Y发生与X... text has been truncated due to evaluation version limitation.
4
思考:试判断事件{x=1}与{y=1}之间是否有关联?
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
零假设
A
B
这4个性质成立,则称分类变量X和Y独立.
零假设H0:分类变量X和Y独立
零假设:假设X,Y相互独立
Y发生与X... text has been truncated due to evaluation version limitation.
5
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
零假设:假设X,Y相互独立
根据列联表中的数据,构造适当的统计量,对成对分类变量X和Y是否相互独立作出判断
{X=1,Y=1}发生的频率的期望值(预期值)为
在零假设成立的条件下,由左边第一个等式可以得到
由频率估计概率,可以得到
E
如果零假设成立,应该比较接近.
即:的值应该不大
零假设
Y发生与X... text has been truncated due to evaluation version limitation.
6
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
零假设:假设X,Y相互独立
零假设
原假设成立,下面四个量值不应该太大
为了平衡各式的差值的变化,构造一个方便科学的统计量:
卡方统计量
Y发生与X... text has been truncated due to evaluation version limitation.
7
如果零假设成立,则应该很小.
卡方统计量
如果零假设不成立,则应该很大.
X Y 合计
Y=0 Y=1
X=0 a b a+b
X=1 c d c+d
合计 a+c b+d n=a+b+c+d
上述表达式是χ2的计算公式, χ2读作“卡方”.
卡方统计量有什么用呢?
统计学家建议,用随机变量χ2取值的大小作为判断零假设H0是否成立的依据.
思考:怎样确定判断大小的标准呢?
根据小概率事件在一次试验中不大可能发生的规律,上面的想法可以通过确定一个与H0相矛盾的小概率事件来实现.
制作:维度... text has been truncated due to evaluation version limitation.
8
思考:怎样确定判断大小的标准呢?
根据小概率事件在一次试验中不大可能发生的规律,上面的想法可以通过确定一个与H0相矛盾的小概率事件来实现.
xα
α
在假定H0的条件下,对于有放回简单随机抽样,当样本容量充分大时,统计学家得到了χ2的近似分布. 忽略卡方的实际分布与该近似分布的误差后,对于任何小概率值α,可以找到相应的正实数,使得下面关系