2023年高考信息技术复习专题梳理9 表格数据的处理及大数据处理

专题9 表格数据的处理及大数据处理 2023 知识要点1 常用表格数据的处理 1.数据整理 （1）目的：检测和修正错漏的数据，整合数据资源，规整数据格式，提高数据质量。 （2）常见数据问题：数据缺失，数据重复，数据异常，逻辑错误，格式不一致等。 2.数据计算 公式：用户自定义的数学表达式 函数：电子表格软件提供的完成特定计算的命令 格式：（1）必须以“=”开头 （2）连续区域用冒号，不连续用逗号如“=average（A1:A5,A10:A15)” 知识要点1常用表格数据的处理 2.数据计算 绝对引用和相对引用 =D3+E3+F3+H3 =SUM(D3:F3,H3) =B3/B$8*100 知识要点1常用表格数据的处理 3.数据可视化 （1）数据可视化的作用 1.快捷观察与追踪数据 2.实时分析数据 3.增强数据的解释力与吸引力 （2）可视化的基本方法 （3）可视化工具 Excel 魔镜 中国领先的大数据云分析平台 Tableau[tæˈbloʊ] 商业智能分析软件 d3.js Highcharts Google Charts 基于python的matplotlib 1.下列关于数据整理的说法，正确的是(　　) A. 数据集中的缺失值一般用任意值填充 B. 数据集中的异常数据须直接删除或忽略 C. 数据集中的重复数据可进行合并或删除 D. 数据集中格式不一致的数据，一般保留一种格式的数据，删除其他格式的数据 C 解析 选项A，缺失数据可以忽略或采用平均值、中间值或概率统计值进行填充，不能用任意值填充，选项错误；选项B，异常数据可能是要去掉的噪声数据或含有重要信息的数据，需根据具体情况进行分析判断，选项错误；选项D，格式不一致的数据需要根据后续分析和挖掘的需要进行数据转换。 2. 使用Excel软件处理某地部分市场菜篮子价格数据，如图所示。 计算表中“平均值”列数据：选择I3单元格输入公式，然后用自动填充功能完成其他单元格的计算。则I3单元格中可使用的公式为 （  ） A. =SUM（C3,H3）/6 B. =（3.5+3+3+3+3+3）/6 C. (C3+D3+E3+F3+G3+H3)/6 D. =AVERAGE（C3：H3） D 知识要点2 大数据处理 1.大数据处理的分治思想 分治就是把一个复杂的问题分成两个或更多相同或相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。 分——将问题分解为规模更小的子问题 治——将规模更小的子问题逐个击破 合——将已解决的子问题合并，最终得出原问题的解 知识要点2 大数据处理 2.大数据处理类型 ①静态数据：在处理时已收集完成、在计算时不会发生改变的数据，一般采用批处理方式。 ②流数据：不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也随之降低，通过实时分析计算可以得到更有价值的分析结果。 ③图数据：现实世界中的许多数据，如社交网络、道路交通等数据，可采用图计算进行处理。 知识要点2 大数据处理 3.批处理计算(Hadoop、Spark) Hadoop是一个运行于计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。 Spark是一种与hadoop相似的，应用较广的开源分布式计算架构。Spark启用了内存存储中间结果，运行速度比hadoop快。 知识要点2 大数据处理 HDFS将大规模数据以文件形式、用多个副本保存在不同 的存储节点中，并用分布式系统进行管理。HDFS容错性高，适合部署在廉价的机器上。 比如：云盘、网盘的底层一般采用HDFS实现 HBase建立在HDFS提供的底层存储基础上，采用基于列的存储方式，主要用来存储非结构化数据和半结构化数据。 MapReduce能够处理大规模数据集的并行运算， 主要由Map(映射）和Reduce(归纳）两个函数构成。其核心处理思想是将任务分解并分发 到多个节点上进行处理，最后汇总输出。 知识要点2 大数据处理 知识要点2 大数据处理 4.流计算(Storm、Heron、Streams) 流计算系统可以简单、高效、可靠地实现实时数据的获取、传输和存储。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。 5.图计算(Neo4j、Google Pregel) 现实世界中的很多数据是以图的形式呈现的，或者是可以转换为图以后再进行分析 的，如社交网络、网络浏览与购买行为、传染病的传播路径等。 6.实时处理与批处理的