第11章 玻尔兹曼机及其相关模型-【千锋教育】Python快乐编程 人工智能—深度学习基础

第11章 玻尔兹曼机及其相关模型 玻尔兹曼机 能量模型 近似推断 对比散度 玻尔兹曼机 能量模型 近似推断 对比散度 理解玻尔兹曼机和受限玻尔兹曼机的概念 掌握能量模型、能量函数、势函数以及相应的概率分布 理解边缘分布与条件分布 理解对比散度 理解 理解 理解 掌握 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 玻尔兹曼机是由Hinton和Sejnowski提出的一种随机递归神经网络，最初作为一种广义的“联结主义”被引入深度学习领域，主要用于对二值向量上的任意概率分布进行学习。随着深度学习技术的不断发展，玻尔兹曼机的变体(包含其他类型的变量)早已超过了最原始的玻尔兹曼机的流行程度。玻尔兹曼机及其变体常被用于深度学习模型的预训练数据和无监督学习。本章深入分析玻尔兹曼机和受限玻尔兹曼机的表示、推断和学习理论。 初心至善 匠心育人 11.1 玻尔兹曼机 初心至善 匠心育人 11.1.1 玻尔兹曼机概述 玻尔兹曼机(BoltzmannMachine，BM)是一个无监督学习算法，属于典型的无向概率图模型，在BM的结构图中，顶点表示随机变量，所有节点由无向边连接，无向边表示变量间的依赖关系，节点集则分为可视层节点集V和隐藏层节点集H，具体如图所示。可视层主要用于输入数据；隐藏层主要用于对输入数据进行降维和特征提取等操作。 初心至善 匠心育人 11.1.1 玻尔兹曼机概述 在玻尔兹曼机的神经网络中，每个神经元的输出结果只有0或1这两种状态，输出结果的取值由概率统计法则决定。 BM中所采用概率统计法则的表达式与著名统计力学家玻尔兹曼(Boltzmann)提出的玻尔兹曼分布类似，因而得名玻尔兹曼机。在玻尔兹曼机及后面介绍的相关变型中，可视层用于接收可观察样本数据集合，可视层节点集的值，其中对应可视层神经元的数量，表示可视层第个神经元的值。隐藏层用于对输入数据的抽象,隐藏层节点集的值，其中表示隐藏层神经元数据，表示隐藏层的第j个神经元的值。 初心至善 匠心育人 11.1.1 玻尔兹曼机概述 玻尔兹曼机是一种可以用随机神经网络来解释的概率图模型，与之前所学的反向传播算法(需要一个输入数据和一个理想的输出作为目标)不同，玻尔兹曼机只需要输入数据，该算法试图建立一个有关输入数据集合的模型，并通过该集合来拟合输出数据。在梯度下降算法中，使用反向传播算法的神经网络的神经元越多，对应的权重矩阵也就越大，每个权值可视为一个自由度或者变量。自由度越高，变量越多，意味着模型更加复杂，模型的学习能力也越强。但是，模型的学习能力越强，对噪声越敏感，也更容易出现过拟合现象。另一方面，使用梯度下降搜寻最优解时按照梯度的负方向进行搜索，在面对多变量的误差曲面时，就像在连绵起伏的山峰间“下山”，变量越多，下降过程中可能遇到的山峰和山谷也越多，梯度下降法追求网络误差或能量函数降低容易使模的特性极型陷入局部的一个小山谷而停止搜索，错过真正的最优解。 初心至善 匠心育人 11.1.1 玻尔兹曼机概述 这就是常规的梯度下降算法在解决多维度的优化问题中最常见的局部最优问题。不同于之前学习的梯度下降算法，玻尔兹曼机属于随机网络算法，它是通过一定的概率保证搜索陷入局部最优时能够具有一定的“爬”出局部最优解的能力，玻尔兹曼机具有了梯度下降算法所欠缺的避免陷入局部最优解的能力，同时当搜索进入全局最优时不会因为该能力而错过全局最优解。接下来通过图来对比梯度下降算法和随机网络算法的差异。 图中左侧为梯度下降算法，右侧为随机神经网络算法。 初心至善 匠心育人 11.1.1 玻尔兹曼机概述 随机神经网络与其他神经网络的区别主要有以下两点。 1. 学习阶段 不同于其他网络，随机神经网络依靠概率分布来对网络参数进行调整，而不是根据确定性算法调整参数值。 2. 运行阶段 随机神经网络不是按确定性的网络方程进行状态演变，而是按概率分布判断状态的转移。神经元的净输入不能决定其状态取1还是取0，但能决定其状态取1还是取 0的概率。 初心至善 匠心育人 11.1.2 受限玻尔兹曼机 BM在非监督环境下的学习能力非常强，可以学习到输入数据中蕴含的复杂规则，但是这种无差别的全连接结构让训练的效率非常低下，因此在后来的发展中衍生出了一种简化版的结构———受限玻尔兹曼机。 自1986年受限玻尔兹曼机( RestrictedBoltzmannMachine，RBM)以簧风琴( Harmonium )之名面世之后，很快便成为了深度概率模型中重要的成员。受限制的玻尔兹曼机是包含一层可视层和单层隐藏层的无向概率图模型，它的出现缓解了玻尔兹曼机训练代价过高且效率低下的问题。 RBM可以通过反复堆叠的方式形成具有一定深度的模型。 初心至善 匠心育人 11.1.2 受限玻尔兹曼机 在 RB