9 回归分析（课件）-《概率论与数理统计（第三版）》同步教学（人民大学）

第九章 回归分析 1 §1 问题的提出 变量之间的关系大致有两种，一是函数关系，是确定性的，如 s = v t ; 另一种是相关关系，是不确定的。 在社会经济领域，更多的是相关关系。如投入与产出、价格与需求的关系等等。 回归分析方法是处理变量间相互关系的有力工具。 2 §2 一元正态线性回归 一、散点图与回归直线 将n对观察结果作为直角平面上的点，这样得到的图形称为散点图。散点图可以帮助我们粗略地看出 x 与 y 的相关关系的形式。 3 例1 价格与供给量的观察数据见下表： x (元） 2 3 4 5 6 8 10 12 14 16 y (吨） 15 20 25 30 35 45 60 80 80 110 散点图 由图1可以看出，x 与 y 之间存在一定的相关关系，且这种关系是线性关系。 图1 4 其他可能的相关关系见下图： 5 图1的10个点虽然不在一直线上，但大致散布于一条直线周围，我们把其表示为： 即对每一个x值， 其中 不依赖于x 的未知参数。 称上述方程为y 关于x 的一元 线性回归方程。通常记为 6 求 a,b 估计值的方法： (一) 作图法：简单方便，但精度差，局限性大； (二) 参数估计法： 最大似然估计法； 矩估计法； 最小二乘估计法（常用）。 7 二、最小二乘法 达到最小。 上述原则即称为最小二乘原则，由此估计 a,b的方法称为最小二乘法。 LSE (Least Square Estimation) 8 — 称为正规方程组 其中 9 系数行列式 所以方程组有唯一解 10 记 则 显然回归直线经过散点图的几何中心 11 例2 价格与供给量的观察数据见下表： x (元） 2 3 4 5 6 8 10 12 14 16 y (吨） 15 20 25 30 35 45 60 80 80 110 求 y 对 x 的回归方程。 解 12 所以所求回归方程为 13 三、线性关系的显著性检验 上述方法得到的模型是否具有实际意义（事实上任何一组数据代入都可以得到经验公式），需要建立一个合理的检验方法。 常用的方法有 F 检验,t 检验,R 检验方法。不难证明，三种方法是一致的。 本节主要介绍 F 检验。 14 （一）平方和分解公式 X Y 15 因此有 16 所以 记 则 17 由于 的相关关系引起的， 因此 U 称为回归平方和。 它是通过 x 对 Y 18 Q 表示除去x 对 Y 的线性影响以外的所有其它影响之和，因此 Q 称为残差平方和或剩余平方和。 从图上看有 两端平方后求和有 总离差平方和 （SST） 回归平方和 （SSR） 残差平方和 （SSE） { { { 19 总离差平方和 （SST） 回归平方和 （SSR） 残差平方和 （SSE） 1、总离差平方和(SST) ---反映因变量的 n 个观察值与其均值的总离差 2、回归平方和(SSR) 即 U ---反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和 3、残差平方和(SSE) 即 Q ---反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和 20 影响越大，反之，则越小。特别地， 总离差平方和 （SST） 回归平方和 （SSR） 残差平方和 （SSE） 21 关于 U 和 Q 的计算公式： 22 （二）F 检验 比值 U/Q 反映了 x 与 Y 之间的线性相关关系与随机因素对 Y 的影响的大小，比值越大，说明线性相关关系越强，但大到什么程度就能说明 x 与 Y 有线性相关关系呢？ 用假设检验的方法进行检验，通常选用 作为检验量。 23 可以证明， 24 亦即x、Y之间不存在线性相关关系； 说明x 对 Y 没有线性影响， 反之，若 ，x、Y之间存在线性相关关系。 因此提出假设 可以证明，若H0成立，则统计量 因此可用 F 检验法进行检验。 25 F 检验的具体步骤： 即认为 x、Y 之间存在线性相关关系； 若不能否定H0，则没有理由认为 x、Y 之间存在线性相关关系。 26 例3 价格与供给量的观察数据见下表： x (元） 2 3 4 5 6 8 10 12 14 16 y (吨） 15 20 25 30 35 45 60 80 80 110 解 已求得回归方程： 试检验回归效果。 27 即回归效果显著。 28 序号 社会商品零售额 x 税收总额 Y 1 142.08 3.93 2 177.31 5.96 3 204.68 7.85 4 242.88 9.82