5.3 数据的分析【新教材】粤教版（2019）高中信息技术必修一 课件

5.3 数据的分析 数据分析就是在一大批 杂乱无章的数据中，运用数字化工具和技术，探索数据内在的结构和规律，构建数学模型，并进行可视化表达，通过验证将模型转化为知识，为诊断过去、预测未来发挥作用。数据分析一般包括特征探索、 关联分析、聚类与分类、建立模型和模型评价等。 5.3.1 特征探索 数据特征探索的主要任务是对数据进行预处理，发现和处理缺失值，异常数据，绘制直方图，观察分析数据的分布特征，求最大值、最小值、极差等描述性统计量。 探究活动 打开并运行配套学习资源包“第五章\课本素材\程序5-3数据预处理”，观察数据预处理结果。程序5-3数据预处理的关键过程及部分程序段如下:(1）数据清洗，发现缺失值。 (2）异常值处理中，利用画散点图发现异常值部分。 (3）求最大值和最小值。 (4）求极差 (5）求组距。 (6）绘制价格直方图。 (7）绘制评论数直方图。 5.3.2 关联分析 关联分析就是分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。关联分析的基本算法如下: (1)扫描历史数据，并对每项数据进行频率次数统计。 (2)构建候选项集C1，并计算其支持度，即数据出现顿事次数与总数的比。 (3)对候选项集的支持度进行筛选，筛选的数据项支持度应当不小于最小支持度。从而形成顿繁项集么L1。 (4) 对频繁项集L2进行连接生成候选项集C2.重复上述步骤，最终形成频繁人项集或者最大频繁项集。 观察 打开并运行教科书配套学习资源包“第五章\课本素村\程序5-4关联分析”，观察程序的运行结果。程序5-4关联分析的关键过程及程序段如下: (1) 自定又连接函教，用于实现L_{k-1}到C_k的连接。 (2）寻找关联规则。 ( 3）创建连接数据。 (4）遍历可能的推理。 (5)计算置信度序列。 (6)置信度师选。 5.3.3 聚类分析 聚类分析是一种探索性的分析， 在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析的算法有很多，其中K平均(K-Means )算法是一种经典的白下而 上的聚类分析方法。K- 平均算法的基本思想就是在空间N个点中，初始选择K个点作为中心聚类点，然后将N个点分别与K个点计算距离，选择自己最近的点作为自己的中心点，再不断更新中心聚集点，以达到“物以类聚，人以群分”的效