内容正文:
回归直线方程的推导
设x与y是具有线性相关关系的两个变量,且相应于样本的一组观测值的n个点的坐标分别是:,下面给出回归方程的推导。
设所求的回归方程为,其中是待确定的参数,那么:
,(),
样本中各个点的偏差是 ,()
显然,上面的各个偏差的符号有正、有负,如果将他们相加会相互抵消一部分,,因此他们的和不能代表n个点与回归直线在整体上的接近程度,而是采用n个偏差的平方和来表示n个点与相应直线(回归直线)在整体上的接近程度。
即
=
求出当取最小值时的的值,就求出了回归方程。
(一) 先证明两个在变形中用到的公式:
公式(1) 其中
因为
==
== 所以
公式(2)
因为
=
=
=
== 所以
(二)推导:将的表达式的各项先展开,再合并、变形
-----展开
-----以a,b为同类项,合并
--以a,b的次数为标准整理
--将数据转化为平均数
---配方法
---展开
---整理
-----用公式(一)、(二)变形
---配方
在上式中,共有四项,后两项与a,b无关,为常数;前两项是两个非负数的和,因此要使得区的最小值,当且仅当前两项的值都为0。所以
或 ------用公式(一)、(二)变形得
(三)总结规律:
上述推倒过程是围绕着待定参数a,b进行的,只含有的部分是常数或系数,用到的方法有(1)配方法,有两次配方,分别是a的二次三项式和b的二次三项式;(2)变形时,用到公式(一)、(二)和整体思想;(3)用平方的非负性求最小值。(4)实际计算时,通常是分步计算:先求出,再分别计算, 或,的值,最后就可以计算出a,b的值。
小练习:
(1)验证当样本数据只有两个点时的回归方程;
(2)当样本数据有三个点,是(),(),()时,试推导回归方程。
$$
回归分析的基本思想及其初步应用知识梳理
一.线性回归方程的确定
如果一组具有相关关系的数据 作出散点图大致分布在一条直线附近,那么我们称这样的变量之间的关系为线性相关关系(也称一元线性相关),这条直线就是回归直线,记为.
那么如何求得参数使得各点与此直线的距离的平方和为最小,即如何求得线性回归方程呢?
高考资源网
在所求回归直线方程中,当取时,与实际收集到的数据之间的偏差为,偏差的平方为(如图1).
即 来刻画出个点与回归直线在整体上的偏差的平方和,显然Q取最小值时的的值就是我们所求的:
其中为样本数据,为样本平均数,称为样本点中心,且所求线性回归直线经过样本点中心(如图2所示).
当回归直线斜率时,为线性正相关,时为线性负相关.
应注意,这个最小距离不是通常所指的各数据的点到直线的距离,而是各数据点沿平行y轴方向到直线的距离(如图1所示).
对于上面参数的求法原理及方法是简单的,但是运算量较大,需要将展开,再合并,然后配方整理,从而求得.
例如,当取怎样实数时, 的值为最小,显然当时最小值为,像这样配方求最值的方法是经常用到的, 线性回归方程中的参数就是这样求出的.
教材中用了添项法较为简捷的求出了截距和斜率分别是使取最小值时的值.
求得,的值,请同学们体会其解法.
线性回归方程的确定是进行回归分析的基础.
二.回归分析:是对具有相关关系的两个变量进行统计分析的一种常用方法.
1.线性相关关系的强弱
两个变量之间线性相关关系的样本相关系数衡量线性相性关系的强弱,由于分子与斜率的分子一样,因此,当时,两个变量正相关;当时两个变量负相关.当的绝对值接近1,表明两个变量的线性相关性很强;当的绝对值接近0,表明两个变量之间几乎不存在线性相关关系.规定当时,我们认为两个变量有很强的线性相关关系.
2.解释变量与随机误差对预报精度的影响以及残差分析
(1)有关概念
线性回归模型
其中和为模型的未知参数;
称为解释变量,称为预报变量;
是与之间的误差,
叫随机误差。
随机误差的估计值为
称为相应于样本点的残差(如图3).
(2)随机误差的方差估计值衡量回归方程的预报精度
由于随机误差的均值=0,
因此,可以用随机误差的方差估计值= (其中,残差平方和为)衡量回归方程的预报精度,显然越小,预报精度越高。
(3)通过残差分析判断模型拟合效果
由计算出残差,,…,,然后选取横坐标为编号、或解释变量或预报变量,纵坐标为残差作出残差图.通过图形分析,如果样本点的残差较大,就要分析样本数据的采集是否有错误;另一方面,可以通过残差点分布的水平带状区域的宽窄,说明模型拟合效果,反映回归方程的预报精度.
3.相关指数反应模型的拟合效果
=