第10章回归分析（课件）- 《概率论与数理统计》同步教学（哈工程版）

第十章 回归分析 10.1 一元线性回归分析 10.3 可线性化的非线性回归分析 10.2 多元线性回归分析 目 录 在现实问题中，处于同一过程的一些变量往往相互依赖和相互制约，它们之间的关系大致可分为两类：一类叫做确定性关系，变量之间的关系可以用函数关系来表达.例如，欧姆定律中电压U与电阻R、电流I之间的关系为 .另一类叫做非确定性关系，这种关系表现为这些变量之间有一定的依赖关系，但这种关系不能用精确的函数来表示.例如，某日用品的销售量与当地人口的多少有关，一般人口越多，该日用品的销售量越大，但人口数量与销售量之间并无确定性的数值对应关系.又如，施肥量与农作物产量之间的关系，年龄大小与血压之间的关系，等等.事实上，这些不确定性是因为变量中有随机变量，这种非确定性的变量之间的关系称为相关关系. 回归分析是研究相关关系的一种数学工具，是数理统计中最常用的方法，在生产实践和科学研究中广泛应用。 回归分析 Part 1 一元线性回归分析 10.1.1 回归分析的基本概念 研究一个随机变量与一些普通变量(自变量)之间相互关系的统计方法称为回归分析.只有一个自变量的回归分析称为一元回归分析，多于一个自变量的回归分析叫做多元回归分析.当变量间存在线性关系时，相应的回归分析称为线性回归分析. 设x是一个可以控制或可以精确观测的普通变量，Y是与x有相关关系的随机变量.如果对于x的每个确定值，Y的取值是随机的，即Y服从一个确定的概率分布，若Y的数学期望存在，则它是x的函数，记为 ，即 称此函数为Y关于x的回归函数，显然用 作为此时Y的估计值是合理的，称方程 为Y关于x的回归方程，相应的图形称为回归曲线.特别当回归曲线为直线时，称为回归直线. 回归分析的一个回归函数 的具体形式可通过样本进行估计.对于x的一组观测值 ，对应Y的观测值为 ，于是得到n对数据 10.1.1 回归分析的基本概念 这n对结果就是容量为n的样本，我们要解决的问题是如何利用样本估计 .通常是将每对观测值在直角坐标系中描出相应的点，得到试验的散点图.对散点图上的n个点拟合一条曲线，如果该曲线正确反映Y与x的关系，则该曲线方程应为 .当 为线性函数 时，估计 的问题称为求一元线性回归问题.本节我们就讨论这个问题. 假设Y与x有如下相关关系： 它被称为一元线性回归模型.其中 都是不依赖于x的未知参数. 显然，当x取固定数值时，Y服从正态分布 ，即 则Y的数学期望为 故回归函数为 如果由样本得到参数 的估计 ，取 作为 的估计.方程 称为Y关于x的线性回归方程或回归方程. 下面我们来解决如何确定常数 的估计 . 10.1.2 参数估计 1.常数a,b的估计 最小二乘法是估计未知参数的一种重要方法，现在我们用它来求一元线性回归模型中的a，b的估计. 最小二乘法的基本思路是：对于一组观测值 ，使误差 的平方和 达到最小的 作为 的估计，称其为最小二乘估计.直观地说，就是从平面的直线中选取与点 的偏差平方和最小的那条来反映这些点的分布状况，显然这条直线是所有直线中最佳的.并且可以证明，在某些假设下， 是所有线性无偏估计中最好的. 根据微积分中求极值的方法，可将 分别对 求偏导数，并令它们等于零，得到方程组： 10.1.2 参数估计 即 称上述方程组为正规方程组.解该方程组可得 10.1.2 参数估计 其中 .于是，所求的线性回归方程为 若将 代入上式，则线性回归方程也可表示为 上式说明回归直线通过样本所形成散点图的几何中心点 .所以，回归直线是一条过点 、斜率为 的直线. 如果Y不是正态分布变量，则可以用最小二乘法估计 的值.在Y服从正态分布的条件下，采用最小二乘法得到的结果与极大似然估计相同. 为了计算方便，引入记号： 10.1.2 参数估计 这样， a,b的估计值可写成 例10-1 设某种合金的抗拉强度Y(单位：kg/mm2 )与其中的含碳量x(单