第8章 线性回归-【千锋教育】Python快乐编程——机器学习从入门到实战同步教案

课程名称 第8章 线性回归 计划学时 4学时 内容分析 本章主要介绍线性回归原理、局部加权线性回归、正则化的线性回归、方差与偏差的平衡 教学目标 与教学要求 要求学生了解线性回归原理、掌握通过Python实现局部加权线性回归的方法、掌握通过Python实现岭回归和Lasso回归的方法、了解方差和偏差的区别及二者的平衡 教学重点 局部加权线性回归、正则化的线性回归、方差与偏差的平衡 教学难点 局部加权线性回归、正则化的线性回归、方差与偏差的平衡 教学方式 课堂讲解及ppt演示 教 学 过 程 第一课时 （线性回归原理、局部加权线性回归） 了解Python机器学习知识 1.介绍本书，引出本课时的主题 线性回归算法是一种预测性建模技术, 主要用来研究因变量(连续型变量) 和自变量之间的关系, 属于监督学习算法。 之前的章节介绍了大量的分类算法相关知识, 本章进入回归算法的领域, 重点讲解线性回归的概念, 引入线性回归主要的两个变种: 岭回归和 Lasso回归。 2.明确学习目标 （1） 能够掌握简单的线性回归 （2） 能够掌握多元性性回归 （3） 能够掌握局部加权线性回归 知识讲解 · 简单的线性回归 在回归任务中, 如果只含有一个自变量和一个因变量, 且这两者的关系可通过一条直线进行近似表示, 那么称这种回归分析为一元线性回归。 当回归分析中含有两个或两个以上的自变量, 且因变量和自变量之间满足线性关系, 则称这种回归分析为多元回归分析。 在两个变量或多个变量(多元回归) 的情形下, 线性回归需要对三种变量(一个因变量、多个特征变量和一个随机值) 进行关系建模。 通过线性回归进行数据分析主要包括以下4个步骤。 (1) 确定变量间相关关系的数学表达式。 (2) 根据训练数据集估计并检验回归模型及参数。 (3) 从众多的输入变量中, 判断哪些变量对目标变量的影响是显著的。 (4) 根据输入变量的已知值来估计目标变量的平均值并给出预测准确度。 简单线性回归模型的定义如下所示。 · 多元性性回归 多元线性回归方程和简单线性回归方程类似, 不同的是由于特征变量个数的增加, 要求的参数的个数也相应增加, 推导和求解过程也有所不同。 · 局部加权线性回归 在解决线性回归问题时经常遇到模型欠拟合的问题, 这是由于模型通常求的是具有最小均方误差的无偏估计。 当模型出现欠拟合时, 将难以很好地应用于预测未知数据, 本节将引入偏差值这一元素来降低预测的均方误差, 从而减少欠拟合的发生。 本节将要介绍的局部加权线性回归(Locally Weighted Linear Regression,LWLR) 便是缓解拟合问题的方法之一。 局部加权线性回归会给待预测点附近的每个点都赋予一个相应的权重值; 在这个子集上基于最小均方差通过普通的线性回归算法求解。 损失函数是加和的多项式, 每一个项是单个样本的真实值与预测值的距离, 损失函数的值越小说明模型的效果越好, 且每一项对损失函数而言都是同等重要的。 局部加权线性回归则采用了不同的方法, 它为损失函数中的每一项(单个样本的真实值与预测值的距离) 添加了相应的权重值, 从而改变了这些项对损失函数整体的影响力。 与第2 章介绍的 K-近邻算法类似, 局部加权线性回归每次预测均需要事先选取出对应的数据子集。 假设输入数据存放在矩阵 X 中, 回归系数存放在θ 中, 对于给定的数据 X1 ,预测结果y1 =X1Tθ 。 求解回归系数θ 的表达式如下所示。 其中,W 是一个对角方阵, 方阵大小与矩阵 X 的样本数量相等, 用来给每个数据点赋予权重。 θ〠 表示该值为当前可以估计出的最优解。 从现有数据中估计出的θ 可能不是数据中真实θ 的值。 第二课时 （正则化的线性回归、方差与偏差的平衡） 回顾内容 1. 回顾上节内容，引出本课时主题。 上节已经介绍了简单的线性回归、多元线性回归、局部加权线性回归，下面开始讲解岭回归、Lasso回归和方差与偏差的平衡。从而引出本节的内容。 2.明确学习目标 （1） 能够掌握岭回归 （2） 能够掌握Lasso回归 （3） 能够掌握方差与偏差的平衡 知识讲解 · 岭回归 岭回归在矩阵X TX 的基础上引入了λI , 从而将矩阵转换为非奇异矩阵, 然后对X TX +λI 求逆。 其中, 矩阵I 为一个维度为m ×m 的单位矩阵,λ 为一个定义的数值。 在这种情况下, 回归系数的计算公式将变成如下形式。 岭回归先用来处理特征数多于样本数的情况, 现在也用于在估计中加入偏差, 从而得到更好的估计。 这里通过引入λ 来限制所有θ 之和, 通过引入该惩罚项, 能够减少不重要的参数, 这个技术在统计学中也叫作缩减。 表达式中的I 表示单位