《人工智能教程》第十章数据挖掘与Agent技术 课件

1 第十章 数据挖掘与Agent技术 2 第十章 数据挖掘与Agent技术 当今时代，人们面临的两大问题： “数据和信息过量，但知识贫乏”的问题。 数据挖掘和知识发现（DMKD）技术应运而生，并成为人工智能近年来研究的热点。 异构网络和异构硬软件环境下的程序跨平台互操作问题 智能Agent与多Agent系统正在崛起为人工智能领域研究分布式计算环境下软件智能化的重要技术。 3 10.1 数据挖掘及其应用 4 10.1.1 数据挖掘与知识发现 1. 网络信息时代的问题 信息过量，难以消化； 真假信息难以辨识； 信息安全难以保证； 信息形式的不一致导致难以统一处理。 缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 2. 解决的办法 数据库知识发现（KDD）：1989年第11届国际联合人工智能学 术会议上提出。 用机器学习的方法分析数据库管理系统中存储的数据，发现数据中隐藏的规则与知识。 5 10.1.1 数据挖掘与知识发现 3. KDD的定义 Fayyad等为KDD下了这样的定义：KDD是从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。 4. KDD过程与步骤： 数据选择和预处理（称为数据准备） 数据挖掘 发现知识 解释评价 6 10.1.2 数据挖掘的概念与研究内容 1.数据挖掘的定义 从技术的角度：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 从商业的角度：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 简而言之：数据挖掘其实是一类深层次的数据分析方法。 7 2.数据挖掘与在线分析处理（OLAP） 数据挖掘与传统的在线分析处理的本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。 在线分析处理（OLAP）：建立在一些假设之上的。用户首先建立一系列假设，然后用OLAP检索数据库来验证或推翻所提假设的正确性，最终得到自己的结论。OLAP分析过程在本质上是一个演绎推理的过程，但如果分析的变量达到几十或上百个时，再用OLAP手