第13章 递归神经网络-【千锋教育】Python快乐编程 人工智能—深度学习基础

第13章 递归神经网络 递归神经网络概述 递归神经网络的前向计算 递归神经网络的训练 长短期记忆网络 递归神经网络概述 递归神经网络的前向计算 递归神经网络的训练 长短期记忆网络 掌握递归网络的相关基础知识 掌握BPTT与梯度消失 了解长时记忆网络 了解时间递归网络在解决自然语言处理问题上的具体应用 了解 掌握 掌握 了解 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 递归神经网络(RecursiveNeuralNetwork，它的缩写和循环神经网络一样为 RNN)可以处理诸如树、图这样的递归结构，它于1990年由Pollack引入深度学习领域。前递归网络已成功地应用于输入是数据结构的神经网络，如自然语言处理和计算机视觉。在本章的最后，以循环语句实现一个递归神经网络，并介绍递归神经网络常见应用场景，以及它的训练算法。 初心至善 匠心育人 13.1 递归神经网络概述 在神经网络的输入层中神经元的数量往往是固定的，在处理可变长度的输入时需要用到循环或者递归的方式。递归神经网络可以看作一个树结构，与循环神经网络通过对一段自然语句中前后词组之间的关联来判断句子的语义不同，递归神经网络将一段自然语句分成主谓宾等组成部分，这些组成部分可以继续拆分成更为细小的子部分，这种结构中某一子部分的信息由它的子树的信息组合得到，整句话的信息由组成这句话的几个子部分组合而来。 在第12章介绍的循环神经网络处理一句自然语言时，具体过程如图所示。 初心至善 匠心育人 13.1 递归神经网络概述 然而在处理具体语句时，不同的语法解析树对应了不同的意思，仅仅按顺序对词组的序列进行解析可能会出现歧义。例如，在处理“全国 14 个计算机学院的学员找到了理想的工作”时，可以理解成“全国/ 14 个/计算机学院/的学员找到了理想的工作”，即某培训机构在全国设立的14个分院中的学员找到了理想的工作；另一种理解方式是“全国/ 14 个/计算机学院的学员/找到了理想的工作”，即14 个来自计算机学院的学员找到了理想的工作。此时，递归神经网络通过树结构来处理信息，从而让模型可以区分出语句的不同意思。递归神经网络主要适用于可以按照树 - 图结构处理信息的情况。 初心至善 匠心育人 13.1 递归神经网络概述 递归神经网络可以把一个树- 图结构的信息映射到一个语义向量空间中。所映射的语义向量空间往往满足某些特定的性质。例如，语义相似的向量距离更近，也就是说，如果两句话用词不同但语义相似，那么这两句话分别被编码后。所得的两个向量之间的距离也相近；如果两句话的语义差异较大，那么编码后所得的两个向量距离也较大，具体示例如图所示。 初心至善 匠心育人 13.1 递归神经网络概述 在图中，左侧递归神经网络将语句中的词组映射到了右上角的一个二维向量空间中。从二维向量空间中可以看到,句子“thecountryofmybirth ”和句子“ theplacewhereI wasborn ”距离很近，这反映了两者语义是相似的这一信息。向量空间中存在另外 4 个单词。观察图中“ China ”和“ Beijing ”两个单词，显然这两个词与“ thecountryofmy birth ”或者“ theplacewhereIwasborn ”的语义关联度比“ 8yearsold ”和“ 6yearsold ”高，所以在向量空间中“China ”和“ Beijing ”距离两个语句更近。由上述示例可以看出，语义的关联程度可以通过向量的间距表示。 初心至善 匠心育人 13.1 递归神经网络概述 从图中应该不难看出自然语言的可组合性，通过一个个单词组成了一句话。由词组到文章，语言的等级逐渐上升，高等级语言结构的语义往往取决于低等级语言结构的语义以及低等级语言结构间的组合方式。递归神经网络是一种表示学习方式，它可以将词、句、段、文章按照相应的语义映射到一个向量空间中，即，将树 - 图结构所包含的信息表示为具有对应含义的向量。以图为例，递归神经网络把句子“thecountryofmybirth ”编码为二维向量。通过定义这样一个“编码器”将这些高级语言结构向量化。 初心至善 匠心育人 13.1 递归神经网络概述 尽管递归神经网络的表示能力非常强大,然而由于其输入数据必须是树 - 图结构，而这种输入信息需要花费大量人工成本进行标注，因此递归神经网络在实际应用中并不广泛。如果通过循环神经网络处理句子，那么可以直接把句子作为输入；而通过递归神经网络处理句子，则需要把每个句子标注为语法解析树的形式，这无疑会比循环神经网络花费更多的人工成本。递归神经网络所需要的投入往往大于其能够带来的性能提升所产生的收益。 初心至善 匠心育人 13.2 递归神经网络的前向计算 本节将对递归神经网络处理