第7章 概率图模型-【千锋教育】Python快乐编程 人工智能—深度学习基础

第7章 概率图模型 概率图模型 生成模型与判别模型 表示理论与推理理论 链式法则和因子分解 独立性和条件独立性 贝叶斯网络 马尔可夫网络 图模型中的推断 概率图模型 生成模型与判别模型 表示理论与推理理论 链式法则和因子分解 独立性和条件独立性 贝叶斯网络 马尔可夫网络 图模型中的推断 理解概率图模型的概念 掌握贝叶斯网络和马尔可夫网络的概念 掌握条件概率的相关概念 掌握图模型中的推断 掌握 掌握 掌握 理解 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 概率图模型(ProbabilisticGraphicalModel，PGM)是一种通过图结构来表示变量概率依赖关系的理论，它以概率论与图论的知识为基础，通过图结构来表示与模型有关的变量的联合概率分布。本章将对概率图模型的相关内容进行讲解。 初心至善 匠心育人 7.1 概率图模型 概率图模型是一类通过图结构表达基于概率相关关系的模型的总称，通过图结构来表示与模型有关的变量的联合概率分布，可以解决很多复杂系统的理解和拆分问题。在实际应用中，变量之间往往存在许多独立性或近似独立性的假设，即每一个随机变量只和极少数的随机变量相关联，这就需要用到概率图模型，一种常见的表示形式是：用一个节点表示一个或一组随机变量，节点之间的边表示变量间的概率相关关系。 初心至善 匠心育人 7.1 概率图模型 根据边的性质不同,概率图模型大致可以分为以下两种： 贝叶斯网络(BayesianNetwork)是基于概率推理的数学模型，也称为有向概率图模型，利用图的节点来表示随机变量，有向也表示随机变量之间的依赖关系。基于概率推理的贝叶斯网络是为了解决模型的不定性和不完整性问题而提出的，它在解决复杂设备不确定性和关联性引起的故障中具有很大的优势，在多个领域获得了广泛应用。贝叶斯网络由Judeapearl教授于20世纪80年代发明，并因此于 2012年获得图灵奖。 初心至善 匠心育人 7.1 概率图模型 马尔可夫网络(MarkovNetwork)是关于一组有马尔可夫性质随机变量X的全联合概率分布模型，也称无向概率图模型。马尔可夫特性是指，在已知“现在”的条件下，“未来”与“过去”彼此独立的特性。具有这种性质的随机过程就叫做马尔可夫过程，其最原始的模型就是马尔可夫链。在马尔可夫网络中未来的状态只受到现在状态的影响，这种影响与过去的状态毫无关联。 概率图模型主要有以下 3 个特质： (1)概率模型图提供了一种相对简单的机制将概率模型的结构可视化，这使得变量之间的复杂关系能够更容易地从图中观测出来，这种机制也可以用于设计新的模型。 (2) 通过概率模型图的帮助，可以更深刻地认识模型的性质，例如各事件的条件独立性质。 初心至善 匠心育人 7.1 概率图模型 (3) 高级模型的推断和学习过程中的复杂计算可以根据图计算表达，概率模型图隐式地承载了背后的数学表达式，这对于描述复杂的实际问题、构建大型的人工智能系统是非常重要的。 概率图模型是深度学习的重要工具之一，马尔可夫网络和贝叶斯网络都可以用于表示数据间的依赖关系。其中，马尔可夫网络可以表示循环依赖等关系，这是贝叶斯网络所无法实现的，贝叶斯网络主要用于表示推导关系等。 概率图模型中的每个节点代表一个随机变量，两个节点之间的边分别表示因果关系(有向图模型)和一般约束关系(无向图模型)。概率图模型的最终目的是得到与图结构相关的一系列的概率值。 初心至善 匠心育人 7.2 生成模型与判别模型 初心至善 匠心育人 7.2 生成模型与判别模型 前面的章节介绍了有关逻辑回归算法和SVM的内容，它们都属于监督学习的范畴，即给定训练数据的标签，通过对已知数据进行学习，实现对未知数据的分布进行预测，这个过程被称作“推断”(Inference)，其核心是如何基于可观测变量推测出未知变量的条件分布。以算法区分，监督学习模型可以分为判别模型 (Discriminative Model)和生成模型(GenerativeModel)。接下来分别对生成模型和判别模型进行进一步讲解。 初心至善 匠心育人 7.2.1 生成模型 生成模型又称作产生式模型，首先对联合分布概率 建模,然后由条件概率公式求取条件概率分布，即 。 生成模型属于全变量的全概率模型，可以模拟“生成”全部变量的值。在这类模型中一般都有严格的独立性假设，特征是事先给定的，并且特征之间的关系直接体现在公式中。这类模型的优点如下所示： (1) 模型之间的关系比较清楚，生成模型得出的是联合分布，不仅能够由联合分布计算条件分布，还可以给出其他信息，例如，可以计算边缘分布。如果一个输入样本的边缘分布很小，那么可以认为这个模型可能不太适合对这个样本进行分类，分类效果欠佳。 初心至善 匠心育人 7.2.1 生