第10章 自编码器-【千锋教育】Python快乐编程 人工智能—深度学习基础

第10章 自编码器 自编码器概述 欠完备自编码器 常见的几种自编码器 自编码器概述 欠完备自编码器 常见的几种自编码器 理解自编码器的含义和学习过程 理解几种常见编码器的作用 了解预训练自编码器和随机编码器 理解 理解 了解 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 Hinton教授等人在1989年就已经开始了对自编码器的研究，但直到2006年，深度学习的再次兴起才让自编码器被大家熟知。传统自编码器主要用于特征学习，用来初始化神经网络的权重参数，这种逐层预训练初始化参数的方法比传统的对称随机初始化参数方法效果更好。目前，自编码器主要应用于特征提取和非线性降维两个领域。自编码器可以被看作是前馈网络的一种特殊情况，并且可以使用与训练前馈神经网络完全相同的技术进行训练。本章将对自编码器的相关内容进行深入讲解。 初心至善 匠心育人 10.1 自编码器概述 自编码器(AutoEncoder，AE)是一种无监督的学习算法，主要用于数据的降维或者特征的抽取。在深度学习中，自编码器可用于在训练阶段开始前，确定神经网络权重矩阵的初始值。这种通过逐层预训练和微调得到的初始化参数要比传统的对称随机初始化参数更快收敛，并且缓解了反向传播算法在深层网络的训练中梯度消失的问题。 自编码器的主要应用有特征提取和非线性降维两个功能。自编码器往往并不关心输出的内容，而是关注于隐藏层中的编码环节，即从输入到编码的映射。在编码 和输入不同的情况下，系统仍能保证输出输入数据尽可能一致，这说明编码 已经通过与输入数据完全不同的表示方式承载了的特征。这个过程被称为特征提取。 初心至善 匠心育人 10.1 自编码器概述 自编码器是由输入层、隐藏层和输出层构成的前馈神经网络结构，结构如图所示。 图所示的结构便是自编码器的基本模型，它由左侧编码器(Encoder)和右侧解码器(Decoder)两部分组成，这两个结构都是用于接收输入信号后输出转换信号。编码器将输入信号转换成编码信号，其过程如下式所示： 上式中f是激活函数。 解码器是将编码信号转换成输出信号。自编码器的目的是让最终的输出信号尽可能地还原输入信号的原始特征，其过程如下式所示。 初心至善 匠心育人 10.1 自编码器概述 上式中，可以看作在给定编码时，对的预测，要尽可能的还原输入数据；满足(表达式中的撇号不表示矩阵转置)，被称为捆绑权重(TiedWeights)，逆映射的权重矩阵 通常选择约束成正向映射的转置。对重构误差的衡量取决于在给定编码时，对输入的适当的分布假设。如果输入神经元是一个任意实数，则通常采用均方误差来定义损失函数，如下式所示： 如果输入被解释为位向量或位概率向量，则可以使用输入与重构的交叉熵来定义损失函数，如下式所示： 用梯度下降等最优化算法，可以求得模型的最优参数，，自编码器并不关注输出结果，关注的是隐藏层。 初心至善 匠心育人 10.2 欠完备自编码器 10.1节提到，自编码器的训练中通常不会关注解码器的输出，而是关注自编码器从输入数据中提取的有用的特征。从自编码器获得有用特征的一种方法是对的维度进行限制，让网络以更小的维度来描述原始数据并尽量不损失原始数据的信息，从而得到被压缩的输入层的数据,这种编码维度小于输入维度的自编码器称为欠完备(Undercomplete)自编码器。欠完备自编码器将根据维度限制，只对数据中最显著的特征进行提取。学习过程可以简单地描述为最小化损失函数的过程，表达式如下所示： 初心至善 匠心育人 10.2 欠完备自编码器 其中L是一个损失函数,用于度量与的相似性，如均方误差。当解码器是线性的且选择均方误差作为损失函数时，欠完备自编码器的学习效果相当于主成分 分析(PCA)。在这种情况下，自编码器会学习到训练数据的主元子空间，如果编码器和解码器容量过大，此时自编码器往往只会执行复制任务而不会学习到任何有关数据分布的有用信息。 初心至善 匠心育人 10.3 常见的几种自编码器 10.3.1 降噪自编码器 返回目录 10.3.2 稀疏自编码器 10.3.3 栈式自编码器 10.3.1 降噪自编码器 降噪自编码器(DenoisingAutoencoder)是一种将破损的数据作为输入进行训练,来预测原始未损坏数据作为输出的自编码器。它的主要目的是增强自编码器提取和编码特征的鲁棒性，由10.2节的内容可知，自编码器的目的是让最终的输出信号 尽可能地还原原始输入数据的原始特征。然而，当输入层数据受到噪声的影响时，输入数据本身可能并不是真实的原始分布，这时通过自编码器得到的初始模型往往不能正确地拟合真实的数据。降噪自编码器便是为了处理这种由噪声造成数据偏差的网络结构。 初心至善 匠心育人 10.3.1 降噪自编码器 降噪是指