10.2 一元线性回归（课件）- 《概率论与数理统计》同步教学（机工版）

“悟道诗---严加安” 随机非随意，概率破玄机； 无序隐有序，统计解迷离． 1 第十章 回归分析 第二节 一元线性回归 二、参数的最小二乘估计 四、利用回归方程进行预测 一、一元线性回归模型 三、回归方程的显著性检验 五、小结 一、一元线性回归模型 随机变量 Y 可控变量 X 线性相关 Y 关于 X 的 一 元线性回归模型： n 次独立观测数据 a, b 为待估计的模型参数. εi为随机误差项. 一、一元线性回归模型 当 时， ，可得 对每个 ，相应的因变量的观测值 来自于正态总体 ，回归直线将穿过点 , 即回归直线从Y 的均值位置穿过. 理论回归方程： 二、参数的最小二乘估计 假设a, b 的估计量为 拟合误差（残差） 一个比较好的回归方程应该使所有观测点的残差平方和尽可能小 二、参数的最小二乘估计 残差平方和： 二元函数 的最小值点称为 a,b 的最小二乘估计. 求 关于 的偏导数，并令其等于0，列方程组如下： 二、参数的最小二乘估计 进一步整理得： 其中 当 不全相等时，方程组的系数矩阵的行列式 二、参数的最小二乘估计 解得唯一解： 经验回归方程： 其中 注：经验回归直线一定过观测数据散点图的几何中心 例10.2.1 由专业知识可知，合金钢的强度 Y(107 Pa)与合金钢中碳的含量X (%)有关．为了研究它们之间的关系，从生产中收集了一批数据，如下表所列．试根据这些数据求 Y 关于 X 的经验回归方程． 序号 x y 序号 x y 1 0.10 42.0 7 0.16 49.0 2 0.11 43.5 8 0.17 53.0 3 0.12 45.0 9 0.18 50.0 4 0.13 45.5 10 0.20 55.0 5 0.14 45.0 11 0.21 55.0 6 0.15 47.5 12 0.23 60.0 解 先根据已知数据绘制 X 和 Y 的散点图 解 由散点图可知，12个观测数据点分布在一条直线附近， Y 与 X 是线性相关的．假定 Y 关于 X 的理论回归方程为 经计算得 从而可得 故 Y 关于 X 的经验回归方程为 三、回归方程的显著性检验 对于变量 Y 和 X 的任意 n对观测值，只要不全相等，则无论变量 Y 和 X 之间是否存在线性相关关系，都可根据上面介绍的方法求得一个线性回归方程。显然，只有当变量 Y 和 X 之间存在线性相关关系时，这样的线性回归方程才是有意义的.为了使求得的线性回归方程真正有意义， 就需要检验变量 Y 和 X 之间是否存在显著的线性相关关系． 三、回归方程的显著性检验 1. F 检验 离差分解： 三、回归方程的显著性检验 1. F 检验 残差平方和 回归平方和 三、回归方程的显著性检验 1. F 检验 定理10.2.1 对于一 元线性回归，有 并且 和 相互独立 H0成立时， 三、回归方程的显著性检验 1. F 检验 检验统计量 拒绝域 a F(1,n-2) 0 拒绝H0 不能拒绝H0 F F 分布 三、回归方程的显著性检验 1. F 检验 当 时拒绝原假设H0，认为 Y 和 X 之间的线性相关关系是显著的. 方差来源 平方和 自由度 均方 F值 临界值 回归 SSR 1 MSR = SSR / 1 MSR / MSE Fα(1,n–2) 残差 SSE n –2 MSE = SSE /(n–2) 总和 SST n –1 一元线性回归的方差分析表： 例10.2.2 在研究合金钢的强度(Y)与碳含量(X)关系的例10.2.1中，我们已经求出了 Y 关于 X 的经验回归方程，接下来取显著性水平 α = 0.01，对回归方程进行显著性检验． 解 经计算得 从而可得 解 SST, SSR, SSE 的自由度分别为11, 1和10，从而可得各均方分别为 检验统计量的观测值 由于检验统计量 可得检验的 p 值为 解 由上表可知 两不等式均可说明在显著性水平0.01下，Y 和 X 之间的线性相关关系是显著的，或者说 Y 关于X 的回归方程是显著的. 又 F(1,10)分布的上侧0.01分位数 ，于是可得方差分析表如下： 方差来源 平方和 自由度 均方 F 值 临界值 p 值 回 归 317.2587 1 317.2587 176.5393 1