第5章 深度学习基础知识-【千锋教育】Python快乐编程 人工智能—深度学习基础

第5章 深度学习基础知识 学习算法 容量与拟合 评估方法 偏差与方差 监督学习算法 无监督学习算法 概率的用途 样本空间与随机变量 随机变量的分布函数 一维随机变量 多维随机变量 多维随机变量 学习目标 掌握深度学习的基础概念 了解深度学习在机器学习中的地位和作用 掌握组合不同算法构建机器学习算法的能力 了解监督学习和无监督学习的主要算法 了解 了解 掌握 掌握 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 从 20 世纪 80 年代开始，统计机器学习开始逐渐成为机器学习的主流发展方向，并使得人工智能从早期纯粹的模型和理论研究发展为可以解决现实生活问题的应用研究。随着计算机性能的提升和大数据时代的来临，机器学习在硬件的支持上取得了重大突破，并且催生了很多新的理论，机器学习便是其中一个重要的分支。深度学习中的很多理论和基础来自于统计机器学习，在掌握深度学习之前有必要对机器学习的基本原理有所理解。机器学习要解决的问题是，基于数据构建合理的统计模型，并利用该模型对数据进行分析和预测。本章将主要对与深度学习相关的基础知识进行讲解。 初心至善 匠心育人 学习算法 初心至善 匠心育人 5.1 学习算法 让机器像人类一样学习关于世界的知识往往面临着诸多挑战。例如，在人工智能图像识别领域中便存在一种称作语义鸿沟的挑战：对人类来说，从图像中识别一个对象轻而易举；对计算机来说,图像识别却是一项极具挑战性的工作。因为在计算机的“视觉”中，图像是由大量的三维数组表示的，对于人来说一眼就能识别出图像中的对象，机器却需要将数百万个数字映射到一个标记来完成对该图像的识别。同一个物体不同的角度和光照在图像中的变化，如图所示。 初心至善 匠心育人 5.1 学习算法 在图中，通过左图和中图的对比可以看出，同一个对象由于拍摄的角度不同，图像的形状发生了巨大的变化，如何让机器知道不同的角度拍摄出的图像其实是同一个对象显然是一项巨大的挑战。左图和右图相比，虽然拍摄角度相同，但光影效果不同，而光照会使像素值的大小产生巨大的变化，而在机器学习中，如何处理光照对图像识别的巨大影响同样是一项艰巨的任务。由此可见,机器的认知方式与人类存在着巨大的差异。 米切尔教授对机器学习的定义为：“对于某类任务(Task，简称T)和某项性能评价准则(Performance，简称P)，如果一个计算机程序在T上，以P作为性能的度量，随着积累经验(Experience，简称E)不断自我完善，那么称这个计算机程序从经验 E 中学习了。” 初心至善 匠心育人 5.1 学习算法 对于计算机系统而言，通过运用数据及某种特定的方法(比如统计的方法或推理的方法)，来提升机器系统的性能，就是机器学习。任务T、评价准则P和经验E这3个要素构成了机器学习的主题，但它们的定义非常宽泛，因此本书将通过有限的直观示例对这 3 个概念进行解释，帮助大家了解机器学习中的这 3 个要素。 初心至善 匠心育人 5.1.1 任务T 任务T一般定义为机器学习系统处理样本的过程。样本是指从希望计算机学习的特定对象或事件中收集到的已经量化的特征的集合。通常将样本表示成一个向量,向量的每一个元素是一个特征。例如，一幅图片的特征通常是指构成该图片的像素。很多初学者有时会将学习的过程误认为是任务T。实际上，学习是为了获取完成任务的能力。例如，通过学习让计算机识别图片中的水果，任务T是指识别图片中的水果。 机器学习可以完成很多类型的任务，下面列举几个常见的机器学习任务。 回归：主要是预测数值型的数据，如图所示。 初心至善 匠心育人 5.1.1 任务T 对于一组样本x,通过函数计算，有一组正确的输出 ,模型通过函数计算得出输出，通过比较输出和输出 改进函数，使其接近于真实函数。 分类：在这类任务中，计算机程序需要将实例数据划分到合适的分类中,如图所示。例如，在图像识别领域，计算机可以像人类一样识别图中的不同类型的物体。 初心至善 匠心育人 5.1.1 任务T 异常检测：这类任务主要是寻找输入样本中所包含的异常数据，如图所示。计算机程序通过对一组事件或对象进行筛选，标记出异常或非典型的个体。若已知异常数据，则与有监督的分类类似；通常在不知道异常数据特征的情况下，采用密度估计的方法来剔除偏离密度中心的数据。例如，QQ异地登录时，系统通过对用户经常登录的IP地址建模，当系统检测到登录地址远离平时经常登录地址时,就会提示登录异常。 初心至善 匠心育人 5.1.1 任务T 聚类：聚类属于模式识别问题，将不同数据归于相应的簇中，如图所示。聚类与分类相似，但是聚类任务中只有输入，并且用簇代替了分类任务中的类别，这是一种无监督学习。 初心至善 匠心育人 5.1.1 任务T 降维：在这类任务中，一般从高维度数据中提取关