必修1 第4章 第2节 大数据处理1-【学考一号】2023新教材高中信息技术学业水平复习方略课堂精讲

课堂精讲 学考一号 高中学业水平复习方略 信息技术 考点一 大数据处理的基本思想与架构 1. 大数据处理的分治思想遥 分治就是把一个复杂的问题分成两个或更 多个相同或相似的子问题袁找到求这几个子问 题的解法后袁再找出合适的方法把它们组合成 求整个问题的解法遥 如果这些子问题还难以解 决袁可以再把它们分成几个更小的子问题袁以 此类推袁直至可以直接求出解为止遥 2. 大数据处理类型遥 渊1冤静态数据院指在处理时已收集完成尧在 计算时不会发生改变的数据袁一般采用批处理 方式遥 构·网络体系 第二节 大数据处理 1 学·知识清单 大 数 据 处 理1 利用 Python分析数据实践 利用 matplotlib模块绘图 利用 pandas模块处理数据 编辑处 理数据 分治思想 基本思想 大数据处 理类型 流计算 渊Storm尧Heron等冤 批处理计算 渊Hadoop尧Spark等冤 大数据处理 的基本思想 与架构 图计算 渊Pregel尧GraphX等冤 图数据 流数据 静态数据 2达标 渊2022窑精诚联盟高二冤小明收集 了浙江省 2022年 4月 30日每个时间段各个监 测 PM2.5浓度的数据,存储在野数据 .xlsx冶中袁如 下图所示院 渊1冤为了绘制某监测站 24小时 PM2.5的浓 度变化趋势袁小明需要对上图表中的数据进行 整理袁下列说法不正确的是 渊单选袁 填字母冤 A. 通过检测发现 E2单元格中的数据不正 确袁应进行修正 B. 应删除第 10行数据 C. 第 3行和第 4行数据重复, 应该删除其 中一行数据 D. 24小时 PM2.5的浓度变化趋势适合用 饼图呈现 渊2冤区域 AA2:AA39 的数据是通过平均值 函数计算出的结果袁在 AA2 单元格中输入公 式院 袁再使用自动填充功能完成 区域 AA3:AA39的计算遥 24 渊2冤流数据院指不间断地尧持续地到达的实 时数据袁随着时间的流逝袁流数据的价值也随 之降低袁可采用流计算进行实时分析遥 渊3冤图数据院现实世界中的许多数据袁如社 交网络尧道路交通等数据袁可采用图计算进行 处理遥 3. 批处理计算遥 Hadoop是一个可运行于大规模计算机集群 上的分布式系统基础架构袁适用于静态数据的 批处理计算遥 Hadoop计算平台主要包括Common 公共库尧分布式文件系统 HDFS尧分布式数据库 HBase尧分布式并行计算模型 MapReduce 等多 个模块遥 渊1冤分布式文件系统 HDFS院HDFS 将大规 模海量数据以文件的形式尧用多个副本保存在 不同的存储节点中袁并用分布式系统进行管理遥 HDFS是一个高度容错性的系统袁适合部署在廉 价的机器上遥 目前袁云盘尧网盘的底层一般采用 HDFS实现遥 渊2冤分布式数据库 HBase院HBase 建立在 HDFS提供的底层存储基础上袁采用基于列的存 储方式袁 主要用来存储非结构化数据和半结构 化数据袁可管理 PB级的大数据遥 渊3冤分布式并行计算模型 MapReduce院 MapReduce 能够处理大规模数据集的并行运 算袁主要由 Map渊映射冤和 Reduce渊归纳冤2 个函 数构成遥 其核心处理思想是将任务分解并分发 到多个节点上进行处理袁最后汇总输出遥 4. 流计算遥 通过流计算系统袁可以简单尧高效尧可靠地 实现实时数据的获取尧传输和存储袁在与数据 库尧Hadoop尧编程语言等整合后可开发出功能强 大的实时计算与分析应用遥 5. 图计算遥 现实世界中的很多数据是以图的形式呈现 的袁或者是可以转换为图以后再进行分析的袁如 社交网络尧网络浏览与购买行为尧传染病的传播 路径等遥 6. 实时处理与批处理的整合遥 开发者在同一个平台既可以做批处理袁也 可以做流计算袁还可以进行两种模式的混合使 用遥 大数据处理系统 Summingbird 实现了批处 理和流计算在一个平台架构下的整合渊Hadoop垣 Storm冤遥 平台的整合缩短了批处理与流处理之 间的切换延时时间袁有利于减少系统的开销袁降 低使用成本遥 考点二 编辑处理数据 1. 利用 pandas模块处理数据遥 常用的 Python 扩展模块有 numpy尧scipy尧 pandas和 matplotlib等袁pandas模块主要用于数 据的处理和分析遥 在 Python中引入 pandas模块院import pandas as pd袁其中 pd是用户为导入模块取的别名遥 渊1冤Series 是一种一维的数据结构袁包含一 个数组的数据和一个与数据关联的索引渊index冤袁 索引值默认是从 0起递增的整数遥 淤创建 Series对象遥 使用列表尧字典等创建 Series对象遥 Series 的索引可以指定袁类型可以为字符串型遥 如院 s =pd.Series (咱166,