第9章 反向传播与梯度计算-【千锋教育】Python快乐编程 人工智能—深度学习基础

第9章 反向传播与梯度计算 风险最小化 梯度计算 反向传播 风险最小化 梯度计算 反向传播 了解反向传播的相关概念 掌握反向传播算法的推导方法 掌握梯度计算的方法 理解梯度消失 了解 理解 掌握 掌握 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 目前，反向传播算法是最受欢迎的深度神经网络的模型最优化方法，虽然它可能已不再是计算梯度的唯一最优方式，但目前仍然大量被使用。反向传播算法由 Rumelhart等人在1986年提出，它允许来自损失函数的信息通过网络向后流动，以便计算梯度,是一种以梯度下降为核心的神经网络最优化方法。本章将对反向传播的有关内容进行讲解。 初心至善 匠心育人 9.1 风险最小化 初心至善 匠心育人 9.1.1 经验风险最小化 损失函数(LossFunction)是用来衡量模型的预测值与真实值的不一致性的函数，它是一个非负实数值函数，通常用表示。损失函数是经验风险函数的核心要素，损失函数的值越小，系统的鲁棒性越好。接下来分别介绍5种常用的损失函数。 1. 0-1 损失函数( 0-1LossFunction ) 0 - 1损失函数用于记录模型分类错误的次数，即预测值与真实值Y是否相同，感知机便采用了该函数作为损失函数。其函数表达式如下所示： 初心至善 匠心育人 9.1.1 经验风险最小化 0- 1损失函数为非凸函数，在求解过程中只关注预测值与真实值是否相同，这种方法的运用条件过于苛刻。在实际应用中通常不会严格检测预测值是否与真实值完全相同。此时，通过预设一个常数，当满足时即认为预测值与真实值相等，表达式如下所示： 2. 铰链损失函数( HingeLossFunction ) 铰链损失函数也称作最大间隔目标函数，常用于支持向量机中的最大化间隔分类，其函数表达式为： 初心至善 匠心育人 9.1.1 经验风险最小化 如果被正确分类,则损失值为0，否则损失值为。在铰链损失函数中不鼓励，即不鼓励分类器过度自信，让某个可以正确分类的样本与分隔线的距离超过1并不会有任何奖励，这可以让分类器更专注于整体的分类误差。 3. 对数损失函数( LogarithmicLossFunction ) 对数损失函数具有单调性，因此在求最优化问题时，对数损失函数的趋势与原始目标一致，在含有乘积的目标函数(例如，极大似然函数)中，通过取对数可以将求解过程转化为更为简便的求和，从而大大简化目标函数的求解过程。此外，由于对数函数是单调递增的，为了转化为最小值问题，通常会在其表达式前添加负号，其函数表达式为： 初心至善 匠心育人 9.1.1 经验风险最小化 4. 平方损失函数( SquareLossFunction ) 平方函数是一种常见的线性回归模型最优化目标函数，即真实值与预测值之差的平方和，其表达式为： 5. 指数损失函数(ExponentialLossFunction) 指数损失是0 - 1损失函数的一种代理函数,指数损失的具体形式如下： 指数函数具有单调性、非负性的优良性质，使得越接近正确结果误差越小，运用指数损失的典型分类器是AdaBoost算法。需要注意的是，指数损失存在误分类样本的权重会指数上升的问题。如果数据样本是异常点，则会极大地干扰后面基本分类器学习效果，这同时也是AdaBoost算法的缺点之一。 初心至善 匠心育人 9.1.1 经验风险最小化 以上为5种较为常见的损失函数，其他损失函数在此不再一一列出，可以参考相关书籍对未提及的损失函数进行了解。 对于任意给定的损失函数，可以求得平均意义下的期望损失函数，期望损失函数也称为期望风险函数(ExpectedRiskFunction)，其一般表达式为： 在实际应用中，联合分布函数是未知的，因此通常把经验风险最小化作为优化的目标。假设存在训练数据集，模型 关于训练数据集T的经验风险为： 初心至善 匠心育人 9.1.1 经验风险最小化 当m趋近于无穷大时,下列表达式成立： 当样本容量足够大时，经验风险最小化能保证有很好的学习效果，在现实中被广泛采用。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化等同于极大似然估计。 初心至善 匠心育人 9.1.2 结构风险最小化 如果只考虑经验风险，当样本容量较小时，很容易产生过拟合现象。过拟合的极端情况便是模型对训练集中所有的样本数据都有最好的预测能力，但是对于非训练集中的样本数据，模型的预测能力非常不好。 结构风险最小化(ExpectedRiskMinimum)是对经验风险和期望风险的折中，可以使模型在整个样本集上的期望风险得到控制。在经验风险函数中加入正则化项便是结构风险函数(StructuralRiskFunction)，其表达式为： 其中，表示模型的复杂度，是定义在假设空间上的泛函。模型越