第十五章数据挖掘（课件）- 《统计学第三版》同步教学（高等教育出版社）

第十五章 数据挖掘 本章内容 一、 数据挖掘的基本知识 二、 决策树分析 三、 聚类分析 四、 关联规则 五、神经网络 数据挖掘的基本知识 1.数据挖掘的产生及发展 2.数据挖掘的定义 3.数据挖掘的应用领域 4.数据挖掘的发展趋势 数据挖掘的产生及发展 产生： 海量数据的出现，导致人们被数据淹没，却饥饿于知识，如何才能不被信息的汪洋大海所淹没，从中及时发现有用的知识、提高信息利用率。 发展： 1989年第一次提出了知识发现的概念。1995年召开第一届DM国际学术会议。随后，每年召开一次这样的会议，DM的研究工作逐步成为热点。 数据挖掘的定义 数据挖掘定义： 是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们　事先不知道的、但又是潜在有用的信息和知识的过程。 目的： 确定数据的趋势和模式 。 数据挖掘应用领域 1.通讯业：侦测盗打电话、声音识别等。 2.金融业：分析市场动向、预测个别公司的营运能力和股价趋势等。 3.保险业：保险金确定、险种关联分析、险种销售与预测。 4.商业：分析顾客的购买行为和习惯、销售商品的构成、商品销售预测等 5.科学研究：γ射线爆的分类、天空图像分析、地震预测等。 6.卫生保健：用于病例、病人行为特征的分析，用于药方管理等。 7.运动和游戏：给出最好的运动员搭配。 8.其他领域：司法、工业、教育等领域。 数据挖掘的发展趋势 1.数据挖掘的研究方向：（1）专门用于知识发现的形式化和标准化的数据挖掘语言，(2)便于用户理解的可视化方法，(3)网络环境下的数据挖掘，(4)各种非结构化的数据挖掘。 2.数据挖掘应用热点：（1）WEB数据挖掘，(2)生物信息或基因的数据挖掘，(3)文本数据挖掘。 决策树算法 1.决策树算法概述 2.信息论原理 3.C.5算法 4.实例计算 5.决策树规则 6.决策树优缺点 决策树算法概述 决策树：是以样本为基础的归纳学习方法，主要用于分类和预测。决策树的表现形式是类似于流程图的树结构，在决策树的内部节点进行属性测试，并根据属性值判断由该节点引出的分支，在决策树的叶节点得到结论。内部节点是属性或属性的集合，叶节点代表样本所属的类或类分布。 基本算法：是贪心算法，采用自顶向下的递归方式构造决策树。当前流行的有ID3算法、C4.5算法、ID4算法、ID5算法等 信息论原理 信息论是C. E. Shannon为解决信息传递(通信)过程问题而建立的理论，也称为统计通信理论。一个传递信息的系统是由发送端(信源，和接收端(信宿)以及连接两者的通道(信道)三者组成。 (1)如果后验不确定性的大小刚好等于先验不确定性的大小，这就表示信宿根本没有收到信息。 (2)如果后验不确定性等于零，这就表示信宿收到了全部信息。 C4.5算法 1.定义： （1）设S为训练集，训练集中每个训练样本有有n个特征（属性），表示为A1，A2，…，An，|S|表示例子总数。 （2）S中有U1，U2两类，|Ui|表示Ui类例子数。 （3）特征Ak处有m个取值，分别为V1，V2，…，Vm。 2.出现概率： C4.5算法 3.条件概率： 4.子集概率： C4.5算法 5.子集条件概率： 6.自信息： C4.5算法 7.信息熵： H(U)＝0时，只存在惟一的可能性；如果2种可能的发生都有相同的概率，H(U)达到最大值，系统的不确定性最大；P(Ui)互相接近，H(U)就大，P(Ui)相差大，则H(U)就小。 8.后验熵和条件熵： C4.5算法 9.平均互信息： I(U,V)称为U和V之间的平均互信息，代表接收到符号集V后获得的关于U的信息量。 10.特征信息熵： H(A)是标准化信息增益的计算值，从而消除了具有许多输出结果的属性选择偏差。 C4.5算法 11.信息增益率： 选择信息增益率大的属性用来细分树结构。 实例计算 【例15.1】 下表中的数据是从信用卡促销数据库抽取的一个样本数据集，将寿险促销作为输出属性，输入属性限制为收入范围、信用卡保险、性别和年龄，用决策树C4.5算法开发一个预测模型进行寿险促销预测。 Income Range（IR） Life Insurance Promotion（LIP） Credit Card Insurance（CCI） Sex （S） Age（A） 40–50K No No Male 45 30–40K Yes No Female 40 40–50K No No Male 42 30–40K Yes Yes Male 43 50–60K Yes No Female 38 20–30K No No Female 55 30–40K Yes Yes Male 35