10.3 多元线性回归（课件）- 《概率论与数理统计》同步教学（机工版）

“悟道诗---严加安” 随机非随意，概率破玄机； 无序隐有序，统计解迷离． 1 第十章 回归分析 第三节 多元线性回归 二、参数的最小二乘估计 四、回归系数的显著性检验 一、多元线性回归模型 三、回归方程的显著性检验 五、小结 一、多元线性回归模型 随机变量 Y 可控变量 X1, X2, …, Xm 线性相关 Y 关于 X1, X2, …, Xm 的 m 元线性回归模型： n 组独立观测数据 b0, b1, …, bm 为待估计的模型参数. εi为随机误差项. 一、多元线性回归模型 Y 关于 X1, X2, …, Xm 的 m 元线性回归模型： Y 关于 X1, X2, …, Xm 的理论回归方程： 二、参数的最小二乘估计 假设b0, b1, …, bm 的估计量为 回归平面 拟合误差（残差） 一个比较好的回归方程应该使所有观测点的残差平方和尽可能小 二、参数的最小二乘估计 残差平方和： 求 m+1 元函数 的最小值点，即得未知参数 b0, b1, …, bm 的最小二乘估计 二、参数的最小二乘估计 求 关于 的偏导数，并令其等于0，列方程组如下： 称为正规方程组 二、参数的最小二乘估计 1. 第一种解法 求解方程组 其中 二、参数的最小二乘估计 1. 第一种解法 由后 m 个方程解得 ，代入第一个方程得 Y 关于 X1, X2, …, Xm 的经验回归方程： 二、参数的最小二乘估计 2. 第二种解法（矩阵解法） 令 可得正规方程组的矩阵形式 X 称为设计矩阵 二、参数的最小二乘估计 2. 第二种解法（矩阵解法） 由 解得 将 代入理论回归方程式同样可得经验回归方程 三、回归方程的显著性检验 1. 离差平方和分解 残差平方和 回归平方和 三、回归方程的显著性检验 2. F 检验法 定理10.3.1 对于 m 元线性回归，有 并且 和 相互独立 H0成立时， 三、回归方程的显著性检验 2. F 检验法 检验统计量 拒绝域 a F(m,n-m-1) 0 拒绝H0 不能拒绝H0 F F 分布 三、回归方程的显著性检验 3. 方差分析表 当 时拒绝原假设H0，认为回归方程整体上是显著的. 方差来源 平方和 自由度 均方 F值 回归 SSR m MSR = SSR / m MSR / MSE 剩余 SSE n –m–1 MSE = SSE /(n–m–1) 总和 SST n –1 四、回归系数的显著性检验 1. 的分布 并且 和 相互独立. 定理10.3.2 记 ，对于m元线性回归模型，有 四、回归系数的显著性检验 2. t 检验法 对于给定的显著性水平 α ，检验的拒绝域为 当原假设H0 成立时，检验统计量 检验的 p 值： 例10.3.1 考察15名不同程度的烟民的每日抽烟量X1 （支）、饮酒（啤酒）量 X2（L）与其心电图指标Y 的对应数据，如下表所列： （1）求变量 的相关系数矩阵； （2）求 Y 关于 的二元线性回归方程； （3）对回归方程进行显著性检验（取 ）. 解 （1）由式(10.25) ~ 式(10.27)计算得 于是可得X1和X2的相关系数为 解 （1） X1 和Y 的相关系数为 X2 和Y 的相关系数为 X1 , X2 , Y 的相关系数矩阵为 解 （2）假设Y 关于X1 , X2 的理论回归方程为 根据式(10.28)写出如下方程组 解得 可得Y 关于X1 , X2 的经验回归方程为 解 （3）显著性检验的原假设和备择假设为 显著性检验的方差分析表如下： 由上表可知 ， 所以Y 关于X1 , X2 的回归方程是显著的. 方差来源 平方和 自由度 均方 F值 临界值 p值 回 归 110638.83 2 55319.42 73.89 3.89 0.0000 残 差 8984.5 12 748.71       总 计 119623.33 14         小结 1. 主要概念：m元线性回归模型，理论回归方程，经验回归方程，正规方程组. 2. 求解参数最小二乘估计的两种方法. 3. 回归