必修1 第四章 第二节 大数据处理-【学考一号】2024新教材高中信息技术学业水平复习方略课堂精讲

课堂精讲 学考一号 高中学业水平复习方略 信息技术 考点一 大数据处理的基本思想与架构 1. 大数据处理的分治思想遥 分治就是把一个复杂的问题分成两个或更 多个相同或相似的子问题袁找到求这几个子问 题的解法后袁再找出合适的方法把它们组合成 求整个问题的解法遥 如果这些子问题还难以解 决袁可以再把它们分成几个更小的子问题袁以 此类推袁直至可以直接求出解为止遥 2. 大数据处理类型遥 渊1冤静态数据院指在处理时已收集完成尧在 计算时不会发生改变的数据袁一般采用批处理 方式遥 渊2冤流数据院指不间断地尧持续地到达的实 时数据袁随着时间的流逝袁流数据的价值也随 之降低袁可采用流计算进行实时分析遥 渊3冤图数据院现实世界中的许多数据袁如社交 网络尧道路交通等数据袁可采用图计算进行处理遥 3. 批处理计算遥 Hadoop是一个可运行于大规模计算机集群 上的分布式系统基础架构袁适用于静态数据的 批处理计算遥 Hadoop计算平台主要包括Common 公共库尧分布式文件系统 HDFS尧分布式数据库 HBase尧分布式并行计算模型 MapReduce 等多 个模块遥 构·网络体系 第二节 大数据处理 1 学·知识清单 大 数 据 处 理1 利用 matplotlib模块绘图 利用 pandas模块处理数据编程处 理数据 分治思想 基本思想 大数据处 理类型 流计算 渊Storm尧Heron等冤 批处理计算 渊Hadoop尧Spark等冤 大数据处理 的基本思想 与架构 图计算 渊Pregel尧GraphX等冤 图数据 流数据 静态数据 2达标 某校高一选课数据存储在野xk援 xlsx冶中袁并对数据进行处理袁如图所示遥 渊1冤如图所示袁已正确计算了单元格 D734 中的数据袁若希望使用自动填充功能完成区域 E734:J734的计算遥 则单元格 D734中的公式应 修改为 遥 渊2冤下列说法正确的是 渊多选袁填 字母冤遥 A. 分析表格数据时袁如遇异常数据袁可以 直接删除或忽略 B. 为了检验选课的正确性袁在 K列利用公 式计算选课结果袁其值不为 3即为选课有误 C. 为了更直观地呈现单科占比袁可以选用 散点图 D. 可以利用筛选功能袁获取选择野物化生冶 组合的学生数据 24 渊1冤分布式文件系统 HDFS院HDFS 将大规 模海量数据以文件的形式尧用多个副本保存在 不同的存储节点中袁并用分布式系统进行管理遥 HDFS是一个高度容错性的系统袁适合部署在廉 价的机器上遥 目前袁云盘尧网盘的底层一般采用 HDFS实现遥 渊2冤分布式数据库 HBase院HBase 建立在 HDFS提供的底层存储基础上袁采用基于列的存 储方式袁 主要用来存储非结构化数据和半结构 化数据袁可管理 PB级的大数据遥 渊3冤分布式并行计算模型 MapReduce院 MapReduce 能够处理大规模数据集的并行运 算袁主要由 Map渊映射冤和 Reduce渊归纳冤2 个函 数构成遥 其核心处理思想是将任务分解并分发 到多个节点上进行处理袁最后汇总输出遥 4. 流计算遥 渊1冤通过流计算系统袁可以简单尧高效尧可靠 地实现实时数据的获取尧传输和存储袁在与数 据库尧Hadoop尧编程语言等整合后可开发出功能 强大的实时计算与分析应用遥 渊2冤处理流数据的软件系统主要有 IBM InfoSphere Streams尧Twitter Storm尧Yahoo浴 S4尧银 河流数据处理平台渊淘宝冤尧Facebook Puma等遥 5. 图计算遥 渊1冤现实世界中的很多数据是以图的形式 呈现的袁或者是可以转换为图以后再进行分析 的袁如社交网络尧网络浏览与购买行为尧传染病 的传播路径等遥 渊2冤目前通用的图处理软件主要包括两 类院一类是图数据库袁如 Neo4j尧InfiniteGraph尧 OrientDB 等 曰另一类是并行图处理系统 袁如 Google Pregel尧Apache Giraph尧卡内基梅隆大学 的 GraphLab尧运行于 Spark平台的 GraphX等遥 6. 实时处理与批处理的整合遥 开发者在同一个平台既可以做批处理袁也 可以做流计算袁还可以进行两种模式的混合使 用遥 大数据处理系统 Summingbird实现了批处 理和流计算在一个平台架构下的整合渊Hadoop垣 Storm冤遥 平台的整合缩短了批处理与流处理之 间的切换延时时间袁有利于减少系统的开销袁降 低使用成本遥 考点二 编程处理数据 1. 利用 pandas模块处理数据遥 常用的 Python 扩展模块有 numpy尧scipy尧 pandas和 matplotlib等袁pandas模块主要用于数 据的处理和分析遥 在 Python中引入 pandas模块院import pandas as pd袁其中 p