第6章 支持向量机-【千锋教育】Python快乐编程——机器学习从入门到实战同步教案

课程名称 第6章 支持向量机 计划学时 4学时 内容分析 本章主要介绍支持向量机简介、寻找最大间隔、序列最小优化、核函数及其应用 教学目标 与教学要求 要求学生了解支持向量机的基本概念、掌握序列最小优化算法、掌握核函数的概念和使用方法 教学重点 寻找最大间隔、序列最小优化、核函数及其应用 教学难点 寻找最大间隔、序列最小优化、核函数及其应用 教学方式 课堂讲解及ppt演示 教 学 过 程 第一课时 （支持向量机简介、寻找最大间隔、序列最小优化） 了解Python机器学习知识 1.介绍本书，引出本课时的主题 支持向量机(Support Vector Machine,SVM) 属于有监督学习模型, 在机器学习、 计算机视觉和数据挖掘等领域应用广泛。 SVM 通过把向量映射到更高维的空间中来寻找划分各类数据的超平面, 在解决小样本模式识别问题中具有较强的优势。 SVM 被看作“拿来即用”的分类器, 这是因为即使应用最基本形式的SVM 也能求解出低错误率的模型。 这说明SVM 可以对训练数据集之外的数据点做出很好的分类决策。 本章将重点讲解与 SVM 相关的基础知识及通过 Python 实现SVM 的方法, 并介绍如何通过核函数将 SVM 扩展到更多的数据集上。 2.明确学习目标 （1） 能够了解支持向量机简介 （2） 能够掌握寻找最大间隔 （3） 能够掌握序列最小化算法简介 （4） 能够掌握序列最小优化算法处理小规模数据集 （5） 能够掌握完整的序列最小优化算法进行优化 知识讲解 · 支持向量机简介 支持向量机的概念由 Corinna Cortes 和 Vapnik 于1993 年提出, 并于1995 年发表, 是机器学习中极具代表性的算法。 SVM 是一种二分类模型。 它的基本思想是在特征空间中寻找间隔最大的分离超平面, 从而对数据进行高效的二分类。 SVM 在处理小样本模式识别问题时所需要的样本数相对较少(这里样本的“少”是与问题的复杂程度相比较而言的), 擅长处理样本数据线性不可分的情况( 主要通过核函数来实现, 不加核函数则是线性模型)。SVM 所适用的数据类型为数值型和标称型, 其优缺点分别如下所示。 优点: 泛化错误率低, 占用的计算资源少, 结果可解释性强。 • 缺点: 对参数调节和核函数的选择敏感, 没有经过调整的原始分类器仅适用于二分类问题。 · 寻找最大间隔 SVM 的基本思想是求解出能够正确划分训练数据集并且几何间隔最大的分离超平面。需要注意的是, 几何间隔最大的分离超平面通常是唯一的。 根据训练数据集找到几何间隔最大的分离超平面意味着以充分大的确信度对训练数据进行分类。 也就是说, 不仅将正负实例点进行分离, 而且对最难分离的实例点( 离超平面最近的点) 也确保有足够大的确信度来进行分离。 这样的超平面可以对未知的新样本有着很好的分类预测能力。 在图中有 A ,B ,C 三个点。 其中 A 点离超平面的距离最远, 因此可以推测,A 点被错误划分的可能性是最小的; 而C 点离超平面的距离最近, 因此C 点被错误划分的可能性最大。 · 序列最小化算法简介 在序列最小优化算法中, 对各个小优化问题进行顺序求解的结果与对整体问题求解的结果几乎完全一致, 于此同时, 该算法大幅降低了求解的时间。 序列最小优化算法的目标是求出一系列α 和b 的值, 根据求解出的α 来计算出权重向量w , 进而求解出分离超平面。 序列最小优化算法的工作原理是: 每次循环中选择两个α 进行优化处理。 选择两个α 是因为α 的约束条件决定了其与标签乘积的累加等于0, 因此必须一次同时优化两个, 否则就会破坏约束条件。 一旦找到一对合适的α , 便增大其中一个α 的值, 并同时减少另一个α 的值。所谓“合适”是指两个α 必须要符合一定的条件, 第一个条件是这两个α 必须要在间隔边界之外, 第二个条件是这两个α 还没有进行过区间化处理或者不在边界上。 · 通过序列最小优化算法处理小规模数据集 通过完整的序列最小优化算法来处理数据集代码量巨大, 在本节接下来的案例中, 将采用简化后的序列最小优化算法来演示算法的效果, 供读者了解算法的基本思想, 在6.3.3 节将会给出完整版的序列最小优化算法案例。 需要注意的是, 简化版序列最小优化算法的执行速度相对较慢。 序列最小优化算法中的外循环用于确定要优化的最佳“α 对”。 简化版会跳过该步骤, 首先在数据集上遍历每一个α , 然后在剩下的α 集合中随机选择另一个α , 从而构建“α 对”。 在简化版序列最小优化算法中, 需要要同时改变两个α 的值。 6.2 节中提到的约束条件如下所示。 由于只改变其中一个α 的值可能会导致该约束条件失效, 所以, 需要保证每次都是同时