第8章 前馈神经网络-【千锋教育】Python快乐编程 人工智能—深度学习基础

第8章 前馈神经网络 神经元 人工神经网络 感知机 激活函数 基于梯度的学习 神经元 人工神经网络 感知机 激活函数 基于梯度的学习 掌握感知机的构成与作用 掌握基于梯度的学习中的相关概念 掌握激活函数的意义和适用场景 理解随机梯度下降算法 理解 掌握 掌握 掌握 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 深度学习是机器学习的一个重要分支，“深度”二字指代了神经网络的层次深度。前馈神经网络(FeedforwardNetwork)是最早被提出的学习模型，也是最简单的神经网络模型之一。通过本章的学习，希望大家初步理解深度学习中的神经网络，为后续章节更复杂神经网络的学习打下基础。 初心至善 匠心育人 8.1 神经元 对于人类神经元的研究由来已久，1904 年，生物学家就已经确认了神经元的组成结构。一个神经元通常具有多个树突，主要用来接收输入信息，每个神经元只有一条轴突，轴突尾端有许多轴突末梢，轴突末梢跟其他神经元的树突产生连接进行信号的传递。人类神经元的结构如图所示。 初心至善 匠心育人 8.1 神经元 深度学习中的神经元可以看作一个含有输入信息处理功能和输出信息功能的模型。输入信息的过程可以类比为人类神经元树突接收信息的过程，输入信息经过突触处理后对输入信息进行累加，当处理后的输入信息大于某一个特定的阈值时，轴突会把这类信息传播出去，这时神经元被激活。反之累加的信息没有超过阈值时，神经元处于抑制状态。 下图是深度学习中的一个神经元模型，它包含个输入数据 和 个与输入数据一一对应的权重值 、激活函数(求和与激活函数会在本节后续内容中讲解)偏差值 和输出值。 初心至善 匠心育人 8.1 神经元 神经元作为神经网络中最小的信息处理单元,它对数据的处理一般分为两个阶段： (1) 接收来自其他神经元的输入信息，对这些输入信息进行加权处理并传递给下一个阶段。通常称这个阶段为预激活阶段。 (2) 将预激活的信息传递给激活函数，经过激活函数处理过的数据的返回值通常会被限制在某个特定的区间之内，返回值的大小决定神经元是抑制还是激活，最后将输出数据传递给下一层神经元。 有的神经元在将预处理的输入数据传递给激活函数之前会为数据添加偏差值，这是为了避免网络出现过拟合，其具体用处会在后面进行深入的讲解。 初心至善 匠心育人 8.2 人工神经网络 前馈神经网络 (Feedforward Neural Network) 或者多层感知机 (Multi-layer Perceptron，MLP)是最早被提出的最简单的神经网络模型，是学习后面章节内容的理论基础。前馈神经网络的目标是实现由输入到输出的映射，例如，对于分类器， 将输入映射到一个类别。前馈神经网络定义了一个映射，并且通过学习训练参数θ的值，使它能够得到最佳的函数近似。本章将讨论为什么要使用神经网络及深度学习，了解神经网络的基本架构和学习方法，为接下来进一步学习深度学习的各神经网络做铺垫。 初心至善 匠心育人 8.2 人工神经网络 神经网络是指按照一定规则连接起来的多个神经元。下图展示了一个全连接(Full Connected)神经网络。 初心至善 匠心育人 8.2 人工神经网络 神经网络具有以下规则： (1) 神经元按照层来布局。最左端的层称为输入层，主要功能为接收输入数据；最右端的层称为输出层(OutputLayer)，从该层获取神经网络的输出数据。输入层和输出层之间的层被称为隐藏层，之所以称为隐藏层，是因为它们对于外部来说是不可见的。 (2) 同一层的神经元之间是相互独立的。 (3) 第层的每个神经元和第层的所有神经元相连(即，全连接)，第层神经元的输出就是第层神经元的输入。 (4) 每个连接都存在一个权重参数，正是通过调整这些权重参数来拟合输入数据集。 初心至善 匠心育人 8.2 人工神经网络 上述规则定义了全连接神经网络的结构。事实上还存在很多其他结构的神经网络，比如卷积神经网络(CNN)、循环神经网络(RNN)，它们都具有不同的连接规则，在后续的章节会分别介绍。 初心至善 匠心育人 8.3 感知机 初心至善 匠心育人 8.3 感知机 计算科学家Rosenblatt在1958年提出了“感知机”理论。感知机属于“单层神经网络”，由输入层和输出层构成。感知机算法非常简单：输入层中的“输入单元”负责接收外界输入信息后传输数据，该层不进行计算操作；输出层中的“输出单元”则会对前面一层的输入进行计算后输出计算结果。进行计算的层次称为“计算层”，这种只拥有一个计算层的网络被称为“单层神经网络”。感知机的示意图如图所示。 初心至善 匠心育人 8.3 感知机 由上图可以看出，感知机主要由以下3个组成部分： 输入值是一个感知机，可以接收多个输入，每个输入上有一个权重参数，