第四章 数据处理与应用（复习课件）-【上好课】高中信息技术必修1数据与计算同步高效课堂（浙教版2019）

浙教版（2019) 必修1 数据与计算 第4章 数据处理与应用（复习课件） 1 本章知识脉络 2 知识点 了解数据整理的必要性，各类数据常常需要进行计算、排序、筛选、图表呈现等处理。数据处理的核心是数据，数据的质量直接影响数据分析的结果。但获取的数据并不都是优质的，常常存在缺失、重复、错误、数量级不同等问题。因此，在数据分析和数据挖掘前，通常先对数据进行整理。 3 知识点 数据缺失处理办法：根据数据间的关联性估计较准确的缺失值，并通过合适的方法对缺失值进行填充。通常采用平均值、中间值或概率统计值来填充缺失值。 数据重复处理办法：对于重复数据，可以在进一步审核的基础上进行合并或删除等处理。 了解常见数据问题的内涵及处理办法 数据异常、格式不一处理办法：不同来源的数据可能存在格式不一致的情况，这就需要进行数据转换，以便形成一个适合后续分析和挖掘的描述形式。数据转换通常包括属性数据类型的转换、根据已有属性集构造新属性的转换、将不同来源的相同属性的定义及其值进行统一标准化表达的转换等。 4 知识点 SPSS：它是IBM公司推出的一款统计分析软件，具备数据收集、准备、分析、描述、解释和展现的功能。SPSS提供丰富的统计算法，并且操作简便、功能强大、扩展性强，但需要使用人员具备一定的数理统计学知识背景，比较适合专业分析、研究等人员使用。 SAS：它是SAS软件研究所开发的一套大型集成应用软件系统，共有三十多个功能模块，具有数据访问、数据管理、数据分析、数据呈现等功能。SAS系统从大型机上的系统发展而来，其操作以编程为主。系统地学习和掌握SAS，需要花费一定的精力，比较适合统计专业人员使用。 常见的数据处理和统计分析工具 5 知识点 MATLAB：它是MathWorks公司推出的一种科学计算语言和编程环境，主要应用于数据分析、无线通信、深度学习、计算机视觉、量化金融与风险管理等领域。MATLAB 将适合迭代分析和设计过程的桌面环境与直接表达矩阵和数组运算的编程语言相结合，为分析数据、开发算法和创建模型等提供了便于探索和发现的环境，深受工程师和科学家的青睐。 EXCLE：它是微软公司推出的Microsoft Office系列套装软件中的组成部分，是一个简单易 用的电子表格软件，可以进行数据的处理、统计分析和辅助决策操作，广泛应用于文秘办公、 财务管理、市场营销、行政管理和协同办公等。 常见的数据处理和统计分析工具 6 知识点 Excle中数据计算方法，在Excel软件中，可以应用公式进行数据的计算。公式是以“=”开头，由常数、函数、单元格引用和运算符组成的式子。公式不仅用于计算，更重要的是构建计算模型。 Excle中数据计算方法 EXCLE中单元格引用是指对工作表中的单元格或单元格区域的引用。默认情况下，单元格引用是相对的，如A1 ；单元格绝对引用，如$A$1 ；连续的单元格区域引用，如A2:D5 ；不连续的单元格区域引用，如A2:A5，D2:D5。 Excle 中算术运算符有^、%、*、/、+、-，用于进行基本的数学运算。比较运算符有=、>、<、>=、<=、<>，用于比较两个值，结果为逻辑值TRUE 或 FALSE。文本连接运算符“&”，可以连接一个或多个文本字符串，生成一段文本。 7 知识点 Excle中常见函数：函数是预定义的公式，通过使用参数按特定顺序或结构进行计算。求和、平均值、最大值、最小值的函数语法如下： Excle中常见函数极格式 SUM（number1，[number2]，...） 求参数的和 AVERAGE（number1，[number2]，...） 求参数的平均值 MIN（number1，[number2]，...） 返回参数列表中的最小值 MAX（number1，[number2]，...） 返回参数列表中的最大值 8 知识点 常见图表及其特点 常见的图表 柱形图 特点：可以直观地比较不同类别数据的大小。柱子的高度清晰地展示了数值的差异，适合用于展示数据的分布和对比情况。适用场景：常用于比较不同项目的数值大小，如不同月份的销售额、不同部门的业绩等。 折线图 特点：主要用于展示数据随时间或其他连续变量的变化趋势。通过线条的连接，能够清晰地看出数据的连续变化情况，对于观察数据的波动和趋势非常有效。适用场景：适合展示股票价格走势、销售业绩随时间的变化等。 饼图 特点：能够直观地显示各部分数据在总体中所占的比例关系。整个圆形代表总体，各个扇形部分代表不同的分类，扇形的大小与该分类所占比例相对应。适用场景：常用于展示市场份额、预算分配等占比情况。 散点图 特点：用于展示两个变量之间的关系。每个数据点在图表中的位置由两个变量的值决定，可以通过观察数据点的分布来判断变量之间的相关性。适用场景：例如研究身高与体重的关系、广告投入与销售额的关系等。 9 知识点 常见图表及其特点 常见的图表 雷达图 特点：可以同时展示多个变量的数据，将各个变量的值绘制在从同一个中心点出发的轴线上，形成一个多边形。通过比较不同多边形的形状和大小，可以直观地看出不同对象在多个变量上的表现。适用场景：常用于综合评估多个指标，如对不同运动员的各项能力进行评估。 气泡图 特点：在散点图的基础上增加了第三个变量，用气泡的大小来表示。可以同时展示三个变量之间的关系，使数据更加直观和丰富。适用场景：例如分析不同产品的销售数量、价格和利润之间的关系。 10 知识点 了解大数据处理的基本思想与架构，处理大数据时，一般采用分治思想。分治，字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多个相同或相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。 了解大数据处理的基本思想与架构 11 知识点 了解分布式计算与并行处理，分布式计算（Distributed Computing）是把一个需要非常巨大的计算能力才能解决的问题 分成许多小部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起 来得到最终的结果。 了解大数据处理的基本思想与架构 12 知识点 了解常见大数据处理类型，目前，大数据处理按照类型可划分为对静态数据的批处理、对流数据的实时计算和对图结构数据的图计算。如下图所示： 常见大数据处理类型 13 知识点 了解静态数据及流数据的内涵。静态数据指在处理时已收集完成、在计算时不会发生改变的数据，一般采用批处理方式；流数据是指不间断地、持续地到达的实时数据， 随着时间的流逝，流数据的价值也随之降低，通过实时分析计算可以得到更有价值的分析结果；现实世界中的许多数据，如社交网络、道路交通等数据，可采用图计算模式进行处理。 静态数据及流数据的内涵 14 知识点 了解批处理计算工具Hadoop和Spark。Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。借助Hadoop，程序员可以在不了解分布式底层细节的情况下，轻松编写分布式并行程序，将其在计算机集群上运行，完成海量数据的存储与分析。Spark是一种与Hadoop相似的、应用较广的开源分布式计算架构。Spark启用了内存存储中间结果，运行速度比Hadoop快很多。 批处理计算工具 15 知识点 了解Hadoop的组成及分布式数据库HBase、分布式并行计算模型MapReduce、分布式文件系统HDFS内涵，具体见下图： Hadoop的组成 16 知识点 了解流计算的背景：Hadoop的设计初衷是面向大规模的批量处理，适用于处理静态数据，在流数据实时处理时明显性能不足，比如大型购物网站的广告推荐、社交网络的个性化推荐、根据交通路况实时更新导航线路等应用场景。随着数据处理量及实时性要求的提高，诞生了专门处理流数据的计算平台。 流计算 17 知识点 了解流计算特点：通过流计算系统，可以简单、高效、可靠地实现实时数据的获取、传输和存储，在与数据库、Hadoop、编程语言等整合后可开发出功能强大的实时计算与分析应用。典型的应用如Twitter的社交网络数据处理，采用了如下图所示的分层数据处理架构，每天可实时处理数十亿事件的数据。 流计算 18 知识点 了解图计算及其产生背景：现实世界中的很多数据是以图的形式呈现的，或者是可以转换为图以后再进行分析的，如社交网络、网络浏览与购买行为、传染病的传播路径等。大规模的图往往有数十亿的节点和数千亿的边（节点之间关系的连线），节点之间的关系错综复杂。传统的Hadoop架构在处理大型图计算的问题时性能上明显不足，专业的图计算软件应运而生。 图计算 19 知识点 通用的图处理软件主要包括两类：一类是图数据库，如Neo4j、InfiniteGraph、OrientDB等；另一类是并行图处理系统，如Google Pregel、Apache Giraph、卡内基梅隆大学的GraphLab、运行于Spark平台的GraphX等。 图计算 20 知识点 编程处理数据：了解可以使用Python语言编程进行数据处理，可以调用Python的扩展模块，常用的扩展模块有numpy、scipy、pandas和matplotlib等。 编程处理数据 21 知识点 明确Python中常见模块的作用，numpy模块是Python中做科学计算的基础库，主要提供科学计算中常用的随机数、数组运算等基础函数。scipy模块是基于numpy构建的一个模块，增强了在高等数学、信号处理、图像处理、统计等方面的处理能力。pandas模块基于numpy实现，主要用于数据的处理和分析。它提供了大量处理数据的函数和方法，能方便地操作大型数据集。 Python中常见模块 在Python中引入pandas模块的方法为：import pandas as pd 22 知识点 明确在Python中pandas提供了Series和DataFrame两种数据结构。Series是一种一维的数据结构，包含一个数组的数据和一个与数据关联的索引（index），索引值默认是从0起递增的整数。列表、字典等可以用来创建 Series 数据结构，与列表不同的是，Series的索引可以指定，类型可以为字符串型。DataFrame 是一种二维的数据结构，由1个索引列（index）和若干个数据列组成，每个数据列可以是不同的类型。DataFrame可以看作是共享同一个index的Series的集合。创建DataFrame对象的方法很多，通常用一个相等长度的列表或字典来创建。 Python中pandas 23 知识点 了解DataFrame常用属性及函数，具体见下图： Python中DataFrame 24 知识点 了解文本数据处理，文本数据处理是大数据处理的重要分支之一，目的是从大规模的文本数据中提取出符合需要的、感兴趣的和隐藏的信息。目前，文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应答等方面。 文本数据处理 文本数据处理的一般过程：分词、特征提取、数据分析、结果呈现等。 25 知识点 常用的中文分词算法可分为如下三类：①基于词典的分词方法②基于统计的分词方法③基于规则的分词方法，常见分词系统具体见下表： 中文分词 26 知识点 了解数据可视化，数据可视化是将数据以图形图像等形式表示，直接呈现数据中蕴含信息的处理过程。随着数据数量的不断增加和结构的多元化，直接从数据中获取信息变得困难，将数据以可视化方式展现出来，使用户可以通过直观、交互的方式浏览和观察数据，发现数据中隐藏的特征、关系和模式 数据可视化 27 知识点 了解数据可视化作用及基本方法，具体见下表。 数据可视化 数据可视化作用 可视化的基本方法 （1）快捷观察与追踪数据 （2）实时分析数据 （3）增强数据的解释力与吸引力   （1）有关时间趋势的可视化 （2）有关比例的可视化 （3）有关关系的可视化 （4）有关差异的可视化 （5）有关空间关系的可视化 28 知识点 了解常见可视化工具：常见的数据分析软件中一般包含创建可视化图表功能。主要用于数据可视化的工具有大数据魔镜、Gephi、Tableau等，也可以使用Python、R等计算机语言编写程序实现数据的可视化。此外，还有一些优秀的可视化工具库，如基于javaScript的D3.js、Highcharts、Google Charts等，基于Python的matplotlib等。 常见可视化工具 29 知识点 了解生活中典型的大数据案例，能够了解典型应用中数据采集与存储的方法，了解其背后的大数据存储技术，包括分布式文件系统（如 Hadoop HDFS）、NoSQL 数据库（如 MongoDB、Cassandra）等，熟悉数据可视化技术，如 Tableau、PowerBI 等，能够将分析结果以直观的图表和图形展示出来，便于理解和决策，同时了解数据安全的重要性，了解数据加密、访问控制、备份恢复等技术，确保大数据的安全性。 典型的大数据案例 30 巩固练习 1.以下关于数据分析工具的说法，正确的是（ ） A. Excel 只能进行简单的数据计算，不能用于数据分析 B. Python 是一种专门用于数据可视化的工具 C. SPSS 是一款专业的统计分析软件 D. SQL 只用于数据库管理，不能用于数据分析 巩固提升练习 正确答案：C。 答案解析：SPSS 是专业的统计分析软件，有丰富的统计分析功能。Excel 有很多数据分析功能，如数据排序、筛选、简单统计分析等；Python 是一种多功能编程语言，用于数据收集、清洗、分析、可视化等多个环节；SQL 可以用于对数据库中的数据进行查询和简单的分析操作。 31 巩固练习 2. 智能交通系统中，利用数据可以实现的功能不包括（ ） A. 交通流量预测 B. 车辆自动驾驶 C. 道路规划 D. 违章检测 巩固提升练习 正确答案：B。 答案解析：智能交通系统利用数据可以进行交通流量预测、道路规划和违章检测等。车辆自动驾驶虽然也依赖数据，但它涉及到复杂的传感器、控制系统和算法集成，不是智能交通系统利用数据直接实现的功能。 32 巩固练习 3.以下哪种图表适合展示数据的比例关系？（ ） A. 折线图 B. 柱状图 C. 饼图 D. 散点图 巩固提升练习 正确答案：C。 答案解析：饼图是将一个圆按照各部分所占比例分割成不同的扇形，非常适合展示数据的比例关系。折线图主要用于展示数据随时间等因素的变化趋势；柱状图用于比较不同类别数据的大小；散点图用于展示两个变量之间的关系。 33 巩固练习 4.下面属于专门用于大数据分布式存储的工具是（ ） A. MySQL B. Hadoop HDFS C. Excel D. MongoDB（非分布式存储主要用途） 巩固提升练习 正确答案：B。 答案解析：Hadoop HDFS是一个分布式文件系统，专门用于在大数据环境下存储海量数据。它能够将数据分布存储在多个节点上，提供高容错性和高吞吐量的数据访问。MySQL 主要是传统的关系型数据库，不太适合大数据的分布式存储；Excel 是电子表格软件，用于小规模的数据处理和分析MongoDB 虽然也是用于存储数据，但重点不在大数据的分布式存储方面。 34 巩固练习 5.以下哪个大数据处理工具主要用于批处理？（ ） A. Storm B. Spark C. Flink（同时支持批处理和流处理） D. Kafka（主要是消息队列，用于数据传输） 巩固提升练习 答案：B。 答案解析：Spark 是一个通用的大数据处理引擎，主要用于大规模数据的批处理。它通过内存计算等技术，能够高效地处理大量的数据。Storm 主要用于实时流数据处理；Flink 虽然也支持批处理，但它在流处理方面也很出色；Kafka 是一个分布式的消息队列系统，主要用于在不同系统之间传输数据，不是主要的批处理工具。 35 THANKS 谢谢大家 $$