4.2.1 大数据处理的基本思想与架构　课件　2022—2023学年浙教版（2019）高中信息技术必修1

第四章 数据处理与应用 4.2 大数据处理 4.2.1 大数据处理的基本思想与架构 学习目标 了解大数据处理架构和基本思路。 了解静态数据、流数据和图数据三者的区别。 大数据具有数据量大、数据来源于类型多样、处理速度快等特点，简单的表格处理软件已经无法满足大数据的处理需求，同时，大数据技术、理论和处理方法也在不断发展，为大数据的处理提供了越来越有力的支持。 医疗大数据可视化 处理大数据时，一般采用分治思想（“分而治之”）。 分--将问题分解为规模更小的子问题 治--将规模更小的子问题逐个击破解决 合--将已解决的子问题合并，最终得出原问题的解 大数据处理按照类型可划分为对静态数据的批处理、对流数据的实时计算和对图结构数据的图计算。 静态数据--指在处理时已收集完成、在计算时不会发生改变的数据，一般采用批处理方式； 流数据--指不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也随之降低，通过实时分析计算可以得到更有价值的分析结果； 图数据--现实世界中的许多数据，如社交网络、道路交通等数据，可采用图计算模式进行处理。 知识点一：批处理计算（静态数据：处理时已收集完成、在计算时不会发生改变的数据） 新课讲授 Hadoop：是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。 Spark：与Hadoop相似，启用了内存存储中间结果，运行速度比Hadoop快很多。 （1）分布式文件系统HDFS 是谷歌文件系统（GFS）的开源实现。 主要功能：将大规模海量数据以文件的形式、用多个副本保存在不同的存储节点中，并用分布式系统进行管理。 HDFS是一个高度容错性的系统，适合部署在廉价的机器上。比如：云盘、网盘的底层一般采用HDFS实现。 （2）分布式数据库HBase 是一个高可靠、高性能、可伸缩、分布式的列式数据库，是谷歌BigTable数据库的开源实现。 HBase建立在HDFS提供的底层存储基础上，采用基于列的存储方式，主要用来存储非结构化数据和半结构化数据。 （3）分布式并行计算模型MapReduce 主要由Map(映射)和Reduce（归纳）2个函数构成。 二、流计算（流数据：不间断地、持续地到达的实时数据） 主要的流计算软件系统： IBM InfoSphere Streams（捕获和分析动态数据） Twitter Storm（推特风暴） Yahoo!S4（雅虎分布式流计算） 淘宝（银河流数据处理平台） Facebook Puma Heron（是Storm的替代产品） 三、图计算（图数据：以图的形式呈现的，或者是可以转换为图以后再进行分析的数据，如社交网络、网络浏览与购买行为、传染病的传播路径等。） 目前通用的图处理软件主要包括两类： 四、实时处理与批处理的整合 Twitter开源了大数据处理系统Summingbird，该系统实现了批处理与流计算在一个平台架构下的整合。平台的整合缩短了批处理与流处理之间的切换延时时间，有利于减少系统的开销，降低使用成本。 小节： 数据整理的目的：是检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量。 常见的数据问题：数据缺失、数据重复、数据异常、逻辑错误、格式不一致等。 数据计算：Excel软件中，公式以“=”开头,由常数、函数、单元格引用和运算符组成的式子（公式不仅用于计算，更重要的是构建计算模型）。 数据图表呈现：1.分析数据；2.创建图表（柱形图、折线图、饼图、雷达图、散点图、气泡图等）；3.检查图表。 1.下列关于流数据的描述不正确的是（   ） A.数据在处理时已收集完成 B.数据价值随着时间的流逝降低 C.实时分析流数据可以得到更有价值的分析结果 D.可以采用流计算进行实时分析 随堂练习 A 2. 下列关于Hadoop架构的描述正确的是（  ） A.是一个对大数据进行聚合式处理的基础架构 B.不能运行于大规模计算机集群上 C.采用NTFS文件系统管理数据文件 D.采用MapReduce编程模型处理大规模数据集 D 3.下列软件主要用于进行流计算的有（  ） A.GraphX B.Storm C.Pregel D.Spark B 4.实时处理与批处理整合的优势有（  ） ①在同一个平台既可以做批处理，也可以做流计算 ②缩短了批处理与流处理之间的切换延时时间 ③有利于降低使用成本 ④增加系统开销 A.①②③ B.①②④ C.②③④ D.①③④ A $