内容正文:
8.1 成对数据的
统计相关性
8.2.1 一元线性回归模型
第八章 成对数据的统计分析
样本相关系数r(判断线性相关程度)
(1)当r>0时,称成对样本数据正相关;
当r<0时,称成对样本数据负相关.
(2)r 的取值范围为[-1,1]
(3)当|r|越接近1时,成对样本数据的线性相关程度越强;
当|r|越接近0时,成对样本数据的线性相关程度越弱.
复习回顾
新知导入
通过前面的学习我们已经了解到,根据成对样本数据的散点图和样本相关系数,可以推断两个变量是否存在相关关系、是正相关还是负相关,以及线性相关程度的强弱等.
进一步,是否可以能像建立函数模型刻画两个变量之间的确定性关系那样,通过建立适当的统计模型来刻画两个变量之间的相关关系?并通过模型进行预测?
下面我们研究当两个变量线性相关时,如何利用成对样本数据建立统计模型,并利用模型进行预测的问题.
P105
新知探究
生活经验告诉我们,儿子的身高与父亲的身高不仅线性相关,而且还是正相关,即父亲的身高较高时,儿子的身高通常也较高. 为了进一步研究两者之间的关系,有人调查了14名男大学生的身高及其父亲的身高,得到的数据如下表所示.
编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180
儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182
我们先用散点图对上面的数据进行分析.
可以发现,散点大致分布在一条从左下角到右上角的直线附近,表明儿子身高和父亲身高线性相关.
通过计算,求得样本相关系数为r≈0.886,
表明儿子身高和父亲身高正线性相关,
且相关程度较高.
P105
思考:根据表中的数据,儿子身高和父亲身高这两个变量之间的关系可以用函数模型刻画吗?
表中的数据,存在父亲身高相同而儿子身高不同的情况.
如,第6个和第8个观测父亲的身高均为172cm,而对应的儿子的身高为176cm和174cm;同样在第3,4个观测中,儿子的身高都是170cm,而父亲的身高分别为173cm,169cm.可见儿子的身高不是父亲身高的函数同样父亲的身高也不是儿子身高的函数,所以不能用函数模型来刻画.
编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180
儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182
要成为函数关系必须满足函数的定义,即应满足“集合A中的任意一个数,在集合B中都存在唯一的数与它对应”.
新知探究
P106
但是,从成对样本数据的散点图和样本相关系数可以发现,散点大致分布在一条直线附近表明儿子身高和父亲身高有较强的线性关系.
我们可以这样理解,由于有其他因素的存在,使儿子身高和父亲身高有关系但不是函数关系.
比如:
随机误差e
母亲身高
生活环境
饮食习惯
体育锻炼
……
新知探究
P106
问题:用类似于函数的表达式,表示儿子身高与父亲身高的关系吗?
如果用 x 表示父亲身高,Y表示儿子的身高,用 e 表示各种其他随机因素影响之和,称 e 为随机误差,由于儿子身高与父亲身高线性相关,
所以
Y=bx+a+e.
由于随机误差表示大量已知和未知的各种影响之和,它们会相互抵消,为使问题简洁,可以假设随机误差e的均值为0,方差为与父亲身高无关的定值.
即 E(e)=0,D(e)=.
新知探究
P106
思考 为什么要假设E(e)=0,而不假设其为某个不为0的常数?
1. 因为误差是随机的,即取各种正负误差的可能性一样,所以它们均值的理想状态应该为0.
2. 如果随机误差是一个不为0的常数,则可以将合并到截距项a中,否则模型无法确定,即参数没有唯一解.
新知探究
P106
我们称①式为Y关于x的一元线性回归模型.
其中, Y称为因变量或响应变量, x称为自变量或解释变量.
a称为截距参数,b称为斜率参数;
e是Y与bx+a之间的随机误差.
①
1. 一元线性回归模型:
新知讲授
P106
思考:函数模型与“线性回归模型”的关系
一次函数模型:y=bx+a. 因变量y完全由自变量x确定;
一元线性回归模型:Y=bx+a+e. 响应变量Y由解释变量x和随机误差e共同确定.
解释变量x
(父亲身高)
随机误差e
(其他所有变量)
响应变量Y
(儿子身高)
新知探究
P106
追问1:你能结合父亲与儿子身高的实例,说明回归模型①的意义?
①
可以解释为父亲身高为的所有男大学生身高组成一个子总体,该子总体的均值为b+a,即该子总体的均值与父亲的身高是线性函数关系.
而对于父亲身高为的某一名男大学生,他的身高yi并不一定为b+a,它仅是该子总体的一个观测值,这个观测值与均值有一个误差项ei = yi -(+a).
新知探究
P106
追问2:你能结合具体实例解释产生模型①中随机误差项的原因吗?
(1)除父亲身高外,其他可能影响儿子身高的因素,比如母亲身高、生活环境、饮食习惯和锻炼时间等.
(2)在测量儿子身高时,由于测量工具、测量精度所产生的测量误差.
(3)实际问题中,我们不知道儿子身高和父亲身高的相关关系是什么,可以利用一元线性回归模型来近似这种关系,这种近似关系也是产生随机误差e的原因.
产生随机误差e的原因有:
新知探究
P106
8.1 成对数据的
统计相关性
8.2.2 一元线性回归模型参数的最小二乘估计
第八章 成对数据的统计分析
问题 为了研究两个变量之间的相关关系,我们建立了一元线性回归模型表达式
刻画的是变量Y与变量x之间的线性相关关系,其中参数a和b未知,我们能否通过样本数据估计参数a和b?
参数a和b刻画了变量Y与变量x的线性关系,因此通过样本数据估计这两个参数,相当于寻找一条适当的直线,使表示成对样本数据的这些散点在整体上与这条直线最接近.
与函数模型不同,回归模型的参数一般是无法精确求出的,只能通过成对样本数据估计这两个参数.
新知探究
P107
由yi=bxi+a+ei(i=1,2,…,n),得|yi一(bxi+a)|=|ei|.
显然|ei|越小,表示点(xi,yi)与点(xi,bxi十a)的“距离”越小,
即样本数据点离直线y=bx+a的竖直距离越小.
特别地,当ei=0时,表示点(xi,yi)在这条直线上.
我们设满足一元线性回归模型的两个变量的n对样本数据为(x1,y1),(x2,y2),
…,(xn,yn)
因此可以用 来刻画各样本观测数据与直线y=bx+a的整体接近程度.
新知探究
P108
残差平方和:
求a,b的值,使Q(a,b)最小
新知探究
P108
新知探究
P109
上式是关于b的二次函数,因此要使Q取得最小值,当且仅当b的取值为
新知探究
P109
我们将 称为Y关于x的经验回归方程,也称经验回归函数或
经验回归公式,其中
其图形称为经验回归直线,这种求经验回归方程的方法叫最小二乘法.
注意:1、经验回归直线必过样本中心点 .
2、 叫做a、b的最小二乘估计.
3 、 与 r 符号相同.
新知讲授—— 1. 经验回归方程
P110
追问1:利用上表的数据,依据用最小二乘估计一元线性回归模型参数的公式,求出儿子身高Y关于父亲身高x的经验回归方程.
通过计算求得
追问2:当x=176时, ,如果一位父亲身高为176cm,他儿子长大后身高一定能长到177cm吗?为什么?
儿子的身高不一定会是177cm,这是因为还有其他影响儿子身高的因素,回归模型中的随机误差清楚地表达了这种影响,父亲的身高不能完全决定儿子的身高,不过,我们可以作出推测,当父亲的身高为176cm时,儿子身高一般在177cm左右.
如果把父亲身高为176cm的所有儿子身高作为一个子总体,那么177cm是这个子总体均值的估计值.
新知探究
P110
巩固练习
1. 已知变量x,Y之间具有线性相关关系,其散点图如图所示,
则其经验回归方程可能为( )
A. =1.5x+2 B. = -1.5x+2
C. =1.5x-2 D. = -1.5x-2
B
巩固练习
2. 某单位为了了解用电量 (单位:度)与气温 (单位: )之间的关系,随机统计了4天的用电量与当天气温,并制作了如下对照表.
气温 18 13 10 -1
用电量 (度) 24 36 40 60
由表中数据得经验回归方程 中的 ,预测当气温为 时,用电量约为_____度.
68
[解析] 由表中数据可得 , ,∵经验回归直线过点 ,
, , .
令 ,得 .
巩固练习
变式 将本题的经验回归方程改为 ,表格改为下表,求m值.
[解析] 由表中数据可得 ,∵经验回归直线过点 ,
30,
14 .
50.
气温 18 13 10 -1
用电量 (度) 14 26 30 m
巩固练习
4. 某厂经过节能降耗技术改造后,生产甲产品过程中记录的产量 (单位:吨)与相应的生产能耗 (单位:吨标准煤)的几组对应数据如表所示.
3 4 5 6
2.5 3 4 4.5
(1)请画出上表数据的散点图;
(2)根据上表提供的数据,求出经验回归方程
(3)预测技改后生产100吨甲产品的生产能耗为多少吨标准煤.
参考数据: .
巩固练习
3 4 5 6
2.5 3 4 4.5
(2)由题中数据计算得 ,
, ,
又 ,
∴ ,
∴ .
∴所求的经验回归方程为 .
巩固练习
∴技改后生产100吨甲产品的生产能耗为
(吨)标准煤.
(3) ∵所求的经验回归方程为 .
方法总结
(1)作出散点图,从直观上分析数据间是否存在线性相关关系;
(2)计算:,,,;
(3)代入公式求出中参数,的值;
(4)写出经验回归方程并对实际问题作出估计.
求经验回归方程的基本步骤
对于一元线性回归模型 Y=bx+a+e ,通过观测得到的数据 y 称为随机变量Y的观测值,通过经验回归方程 得到的 为预测值.
观测值减去预测值称为残差,即: = y- ,残差是随机误差的估计值.
通过对残差 分析可判断回归模型刻画数据的效果(模型的拟
合效果),以及判断原始数据中是否存在可疑数据等,这方面的工作称为残差分析.
(1) 残差
新知讲授——2. 残差分析
P111
(2) 残差图:作图时纵坐标 为残差,横坐标可以选为样本编号,或身高数据,或体重估计值等,这样作出的图形称为残差图.
残差比较均匀地落在水平的带状区域中,说明选用的模型比较合适.
带状区域宽度越窄,模型拟效果越好,回归方程的预测精度越高.
新知讲授——2. 残差分析
P111
新知讲授——2. 残差分析
P112
只有图(4) 满足一元线性回归模型对随机误差的假设.
巩固练习
x 2 4 5 6 8
Y 30 40 60 50 70
3. 某种产品的广告支出费用x(单位:万元)与销售额Y(单位: 万元)的数据如表:
已知Y关于x的经验回归方程为 =6.5x+17.5,则当广告支出费用为5万元时,残差为________.
解:当x=5时, =6.5×5+17.5=50,表格中对应y=60,
于是残差为60-50=10.
也可利用决定系数 R2 来刻画回归的效果
0≤R2≤1,R2 越大,即接近于1, 表示残差平方和越小 , 模型的拟合效果越好.
在一元线性回归模型中 R2=r2,即决定系数R2等于响应变量与解释变量的
样本相关系数r的平方.
(3) 决定系数 R2
新知讲授——2. 残差分析
P118
画散点图(判断两个量具有线性相关)
求经验回归直线方程
分析回归模型的拟合效果 (利用残差图或决定系数R2)
用经验回归直线方程进行预测
巩固练习
巩固练习
巩固练习
巩固练习
课堂小结
其中, Y称为因变量或响应变量, x称为自变量或解释变量.
a称为截距参数,b称为斜率参数;
e是Y与bx+a之间的随机误差.
①
1. 一元线性回归模型:
课堂小结
其中:
注意:1、经验回归直线必过样本中心点 .
2 、 与 r 符号相同.
2. 经验回归方程:
课堂小结
3. 残差:观测值减去预测值,即: = y-
4. 利用残差图判断拟合效果:残差图分布的带状区域越窄,模型的拟合效果越好,回归方程预报的精度越高.
5. 利用决定系数R2判断拟合效果:
0≤R2≤1,R2 越大,表示残差平方和越小,模型的拟合效果越好,回归方程预报的精度越高.
C
巩固练习
BCD
巩固练习
巩固练习
巩固练习
巩固练习
方法总结
能力提升
能力提升
能力提升
散点图
换元
中心
一次
方法总结
相关系数
|r|
越强
方法总结
下节课见!
3.回归分析
(1) 定义:对具有相关关系的两个变量进行统计分析的一种常用方法.
(2) 步骤:
例 当前“停车难”已成为城市通病,因停车问题引发的纠纷屡见不鲜.无论在北京、上海等超大型城市,还是其他城市,甚至人口只有几万、十几万的县城和乡镇,“停车难”都给群众生活和政府管理带来了深深的烦恼.由于“停车难”是事关百姓生活质量和切身利益的问题,也是建设和谐社会不容忽视的问题之一,某小区物业公司决定动手解决小区“停车难”问题,并统计了近六年小区私家车的数量,以编号1对应2015年,编号2对应2016年,编号3对应2017年,以此类推,得到相应数据如表:
年份编号x
1
2
3
4
5
6
数量y(辆)
41
96
116
190
218
275
① eq \x\to(x) = eq \f(1,6) (1+2+3+4+5+6)=3.5, eq \x\to(y) = eq \f(1,6) ×(41+96+116+190+218+275)=156,
= = eq \f(4 081-6×3.5×156,91-6×3.52) =46,
且
= eq \x\to(y) -
eq \x\to(x) =156-46×3.5=-5,y关于x的线性回归方程为
=46x-5,
①若该小区私家车的数量y与年份编号x的关系可用线性回归模型来拟合,试用相关指数R2分析其拟合效果(R2精确到0.01);
参考数据:
=936,
=4 081,
=91,
=37 586.
【解析】①y关于x的线性回归方程为
=46x-5,
又x=1时,
1=41,x=2时,
2=87,x=3时,
3=133,x=4时,
4=179,
x=5时,
5=225,x=6时,
6=271,
故
(yi-
i)2=556,R2=1-
=1- eq \f(556,37 586) ≈0.99,
由相关指数R2近似为0.99,接近1,说明拟合效果较好.
②y关于x的线性回归方程为
=46x-5中,取x=7,可得
=46×7-5=317,
故若要求在2021年小区停车位数量仍可满足需要,则至少需要规划317个停车位.
②由于车辆增加,原有停车位已经不能满足有车业主的需求,因此物业公司欲在小区内对原有停车位进行改造,重新规划停车位.若要求在2021年小区停车位数量仍可满足需要,求至少需要规划多少个停车位.
1. 如果发现散点图中所有的样本点都落在一条斜率为非0实数的直线上,则下列说法错误的是( )
A.解释变量和预报变量是一次函数关系
B.相关指数R2=1
C.相关系数r=1
D.残差平方和为0
2. 在统计中,由一组样本数据(x1,y1),(x2,y2),…,(xn,yn)利用最小二乘法得到两个变量的经验回归方程为
=
x+
,,那么下列说法正确的是( )
A.样本相关系数r不可能等于1
B.经验回归直线
=
x+
,必经过点( eq \x\to(x) , eq \x\to(y) )
C.经验回归直线
=
x+
,表示最接近y与x之间真实关系的一条直线
D.样本相关系数为r,且|r|越接近1,成对样本数据的线性相关程度越强;
|r|越接近0,成对样本数据的线性相关程度越弱
3. 已知x,y的取值如表,结合散点图可以看出y与x具有线性相关关系,且回归方程为
=0.95x+
,则
=__________.
x
0
1
3
4
y
2.2
4.3
4.8
6.7
【解析】因为回归直线必过样本点的中心( eq \x\to(x) , eq \x\to(y) ),又 eq \x\to(x) =2, eq \x\to(y) =4.5,
代入回归方程,得
=2.6.
答案:2.6
回归方程过样本中心点,
则16.8=0.75×4+
,
所以
=13.8.
回归方程为:
=0.75x+13.8,
估计该公司7月份的销售额为:
=0.75×7+13.8=19.05(万元).
4. 某公司一种型号的产品近期销售情况如表
月份x
2
3
4
5
6
销售额y(万元)
15.1
16.3
17.0
17.2
18.4
根据上表可得到回归直线方程
=0.75x+
,据此估计,该公司7月份这种型号产品的销售额为( )
A.19.5万元
B.19.25万元
C.19.15万元
D.19.05万元
【解析】选D. eq \x\to(x) = eq \f(2+3+4+5+6,5) =4,
eq \x\to(y) = eq \f(15.1+16.3+17.0+17.2+18.4,5) =16.8,
5. 甲、乙、丙、丁四位同学各自对A,B两变量的线性相关性做试验,并用回归分析方法分别求得相关系数r与残差平方和m如表:
甲
乙
丙
丁
r
0.82
0.78
0.69
0.85
m
106
115
124
103
则哪位同学的试验结果体现A,B两变量有更强的线性相关性( )
A.甲 B.乙 C.丙 D.丁
【解析】选D.在验证两个变量之间的线性相关关系时,相关系数的绝对值越接近于1,相关性越强,在四个选项中只有丁的相关系数最大;残差平方和越小,相关性越强,只有丁的残差平方和最小,综上可知丁的试验结果体现了A,B两变量有更强的线性相关性.
1.判定两个变量正、负相关性的方法
(1)画散点图:若点的分布从左下角到右上角,则两个变量正相关;若点的分布从左上角到右下角,则两个变量负相关;
(2)相关系数:r>0时,正相关;r<0时,负相关;
(3)线性回归方程中:
>0时,正相关;
<0时,负相关.
2.判断相关关系的方法
(1)散点图法:如果所有的样本点都落在某一函数的曲线附近,变量之间就有相关关系.如果所有的样本点都落在某一直线附近,变量之间就有线性相关关系.
(2)决定系数法:利用相关系数判定,当R2越接近于1,拟合效果相关性越强.
提醒:相关系数r为判定两个变量是否线性相关的指标,且绝对值越大,线性相关性越强,不是r越大相关性越强.
1. 已知某种商品的广告费支出x(单位:万元)与销售额y(单位:万元)之间具有线性相关关系,利用下表中的五组数据求得回归直线方程为
=
x+
,根据该回归方程,预测当x=8时,
=84.8,则
=( )
x
2
3
4
5
6
y
25
37
50
56
64
A.9.4 B.9.5 C.9.6 D.9.8
【解析】选C.
由表格数据可得: eq \x\to(x) = eq \f(2+3+4+5+6,5) =4, eq \x\to(y) = eq \f(25+37+50+56+64,5) =46.4,
则
, 解得
= eq \f(84.8-46.4,4) =9.6.
2. 已知变量y关于x的回归方程为,其一组数据如表所示:若x=5,则预测值可能为( )
x
1
2
3
4
y
e
e3
e4
e6
A.e5 B.e
C.e7 D.e
【解析】选D.由y=ebx-0.5得:ln y=bx-0.5,
所以 eq \f(ln e+ln e3+ln e4+ln e6,4) =b· eq \f(1+2+3+4,4) -0.5,解得b=1.6,
所以回归方程为y=e1.6x-0.5,若x=5,则y=e8-0.5=e
.
3. 已知具有相关关系的两个随机变量的一组观测数据的散点图分布在函数
y=2e2x+1的图象附近,设z=ln y,将其变换后得到线性方程z=mx+n,
则mn=__________.
【解析】两边取对数得ln y=ln 2e2x+1,设z=ln y,
则z=ln 2+ln e2x+1=ln 2+2x+1,
则z=2x+ln 2+1,故m=2,n=ln 2+1,
所以mn=2ln 2+2.
答案:2ln 2+2
回归分析问题的类型及解题方法
(1)求回归方程
①根据_______判断两变量是否线性相关,如不是,应通过_____构造线性相关.
②利用公式,求出回归系数___.
③待定系数法:利用回归直线过样本点的______,求系数
.
(2)利用回归方程进行预测,把线性回归方程看作______函数,求函数值.
(3)利用回归直线判断正、负相关,决定正相关还是负相关的是系数___.
(4)回归方程的拟合效果,可以利用________判断,当___越趋近于1时,两变量的线性相关性
______.
提醒:若题干中的x,y很大时,应优先选择公式
= eq \f(\i\su(i=1,n, )(xi-\x\to(x))(yi-\x\to(y)),\i\su(i=1,n, )(xi-\x\to(x))2) ,
若x,y比较小可选择
=2),\s\do1(i)) eq \f(\i\su(i=1,n,x)iyi-n \x\to(x)\x\to(y),\i\su(i=1,n,x)-n\x\to(x)2)
进行计算求解.
$