第14章 卷积神经网络-【千锋教育】Python快乐编程 人工智能—深度学习基础

第14章 卷积神经网络 卷积运算 网络结构 卷积层 池化层 输出值的计算 池化层输出值的计算 卷积运算 网络结构 卷积层 池化层 输出值的计算 池化层输出值的计算 理解卷积神经网络的相关概念 掌握卷积神经网络的训练方法 初步掌握实现简单的卷积神经网络的能力 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 卷积神经网络(ConvolutionalNeuralNetwork，CNN)作为深度学习技术中极具代表性的网络结构之一，是一种非常适合图像、语音识别任务的神经网络结构。最近几年，在有关图像、语音识别领域的重要突破中都能看到卷积神经网络的影子，例如，谷歌的 GoogleNet、微软的ResNet等。击败众多围棋世界冠军的 AlphaGo也用到了这种神经网络。本章将详细介绍卷积神经网络及其训练方法。 初心至善 匠心育人 14.1 卷积运算 卷积网络是指那些至少在其中一层网络中使用卷积运算来替代一般的矩阵乘法运算的神经网络。其中的“卷积”(convolution)一词是指一种特殊的线性运算，卷积运算是定义两个连续实值函数上的数学操作，接下来将通过一个生活中的例子解释卷积操作的意义。 一家面包房有一台可以不断制作面包的机器，假设面包机在第小时生产出的面包数量为 ， 和都是实值的。那么24小时后生产出来的面包总量为： 面包生产出来之后，就会慢慢变质，假设变质情况通过函数表示，每个面包完全变质的时间为24小时，显然越早生产出来的面包随时间变质程度越高。 初心至善 匠心育人 14.1 卷积运算 如果制作一个面包需要1个小时，那么第一个小时生产出来的面包在经历24小时后会完全变质，第二个小时生产出来的面包，一天(24 小时)后会经历23小时的变质。那么，24 小时后，所有面包的变质情况连续估计函数如下所示： 上述计算就叫做卷积，这反映了一个函数在另一个函数上的加权叠加。卷积运算一般形式如下所示。 在上式中，通常把函数称为输入，函数 称为过滤器(filter)或核函数(kernelfunction)，得到的结果s称为特征图，或者特征映射(featuremap)。 初心至善 匠心育人 14.1 卷积运算 卷积操作满足交换律，即令，对于任意给定的，当趋近于时，等式左边的的值趋近于 ；当趋近于时， 的值趋近于。因此有如下等式成立。 卷积操作还满足分配律和结合律,具体如下所示： 初心至善 匠心育人 14.1 卷积运算 卷积操作满足交换律，即令，对于任意给定的，当趋近于时，等式左边的的值趋近于 ；当趋近于时， 的值趋近于。因此有如下等式成立。 卷积操作还满足分配律和结合律,具体如下所示： 初心至善 匠心育人 14.1 卷积运算 如果觉得上述示例的演示不够直观，接下来以离散信号为例，通过图示方法来解释卷积的物理意义。已知, ，如图所示。 初心至善 匠心育人 14.1 卷积运算 首先，将 乘以后所得图像平移至起始位置为0处，如图所示。 其次，将 乘以 后所得图像平移至起始位置为1处，如图所示。 初心至善 匠心育人 14.1 卷积运算 再次，将 乘以后所得图像平移至起始位置为2处，如图所示。 最后，将上述3个步骤所得图像叠加便可以得出的最终图像，如图所示。 从以上示例可以看到，卷积操作的物理意义是加权叠加，即一个函数在另一个函数上加权叠加。 初心至善 匠心育人 14.2 网络结构 在进一步学习CNN网络结构之前先，回顾一下之前章节讲解过的全连接的前馈神经网络。全连接网前馈神经网络与卷积网络有两个主要的相似之处： 两者都属于分层的深度网络结构，相邻网络层之间的神经元互相连接，同层的神经元之间以及非相邻层的神经元之间相互独立，每一个神经元从上一层神经元中接收输入数据后进行线性加权,通过非线性激活函数激活输出。 在监督学习中两者都由输入层接收原始数据,在输出层定义损失函数，并通过最小化损失函数来调整网络的权重参数(因此，反向传播算法、激活函数等同样适用于CNN网络)。 初心至善 匠心育人 14.2 网络结构 以图像识别领域为例，全连接神经网络主要有以下几个方面的问题： 参数数量过多。假设有一张1000×1000像素的图片，意味着全连接神经网络的输入层有1000×1000=100万个节点。假设网络的第一个隐藏层只有100个节点，那么仅这一层就有(1000×1000+1) ×100=1亿参数，显然用全连接神经网络来学习该图片的学习代价将非常大! 可以想象，图像像素提升会大幅提高全连接神经网络的参数数量，因此它的扩展性很差。 缺少对像素之间的位置信息的利用。对于图像识别任务来说，每个像素与其周围像素的关联性往往比较紧密与，得很远的像素的关联性较小。如果一个神经元和上一层所有神经元相连，那么就相当于对于一个像素来说，把该像素与图像的所有