第四章 数据处理与应用（ 复习课件（1）） -浙教版（2019）高中信息技术必修1

4.数据处理与应用（1） 主讲人：*** 浙教版信息技术必修一《数据与计算》 【知识体系】 2 【知识梳理】 一、常用表格数据的处理 （一）数据整理 1.数据缺失问题：通常采用平均值、中间值或概率统计值来填充缺失值。 2.数据重复问题：基于字段和基于记录进行检测，根据需要进行合并或删除。 3.异常数据：指数据集中不符合一般规律的数据对象。 4.逻辑错误问题：指数据集中的属性值与实际值不符，或违背业务规则或逻辑。 5.不同来源的数据可能存在格式不一致的情况：进行数据转换。 【知识梳理】 一、常用表格数据的处理 （二）数据计算 1.Excel :求和函数（SUM）、平均值函数（AVERAGE）、最小值函数（MIN）、最大值函数（MAX）。 2.SPSS ：专业的统计分析软件，需要具备一定的数理统计知识背景。 3.SAS：大型集成应用软件系统，操作以编程为主。 4.MATLAB：一种科学计算语言和编程环境。 【知识梳理】 一、常用表格数据的处理 （三）数据图表呈现 1.柱形图 2.折线图 3.饼图 4.雷达图 5.散点图 6.气泡图 【知识梳理】 二、大数据处理 （一）大数据处理的基本思想与架构 1.分治思想 即“分而治之”，就是把一个复杂的问题分成两个或更多个相同或相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。 【知识梳理】 二、大数据处理 （二）大数据处理类型 【知识梳理】 二、大数据处理 （二）大数据处理类型 1.批处理计算 Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。 【知识梳理】 二、大数据处理 （二）大数据处理类型 1.批处理计算 （1）分布式文件系统HDFS 主要功能是将大规模海量数据以文件的形式、用多个副本保存在不同的存储节点中，并用分布式系统进行管理。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。目前，云盘、网盘的底层一般采用HDFS实现。 （2）分布式数据库HBase HBase建立在HDFS提供的底层存储基础上，采用基于列的存储方式，主要用来存储非结构化数据和半结构化数据，具有良好的横向扩展能力，可管理PB级的大数据。 【知识梳理】 二、大数据处理 （二）大数据处理类型 1.批处理计算 （3）分布式并行计算模型MapReduce MapReduce是一种分布式并行编程模型，能够处理大规模数据集的并行运算，主要由Map（映射）和Reduce（归纳） 2个函数构成。HDFS提供了分布式计算时每个节点服务器对数据的访问，HDFS 与MapReduce 的结合，使得在处理大数据的过程中计算性能、数据容错性得到了保障。核心处理思想是将任务分解并分发到多个节点上进行处理，最后汇总输出。 【知识梳理】 二、大数据处理 （二）大数据处理类型 2.流计算 通过流计算系统，可以简单、高效、可靠地实现实时数据的获取、传输和存储，在与数据库、Hadoop、编程语言等整合后可开发出功能强大的实时计算与分析应用。如大型购物网站的广告推荐、社交网络的个性化推荐、根据交通路况实时更新导航线路等应用场景。 【知识梳理】 二、大数据处理 （二）大数据处理类型 2.流计算 （1）流计算的发展 （2）典型应用：Twitter的社交网络数据处理 【知识梳理】 二、大数据处理 （二）大数据处理类型 3.图计算 现实世界中的很多数据是以图的形式呈现的，或者是可以转换为图以后再进行分析的，如社交网络、网络浏览与购买行为、传染病的传播路径等。 （1）一类是图数据库：如Neo4j、InfiniteGraph、OrientDB等； （2）另一类是并行图处理系统，如Google Pregel、Apache Giraph、卡内基梅隆大学的GraphLab、运行于Spark 平台的GraphX等。 【知识梳理】 二、大数据处理 （二）大数据处理类型 4.实时处理与批处理的整合 Twitter开源了其大数据处理系统Summingbird，该系统实现了批处理和流计算在一个平台架构下的整合（Hadoop+Storm）。缩短了批处理与流处理之间的切换延时时间，有利于减少系统的开销，降低使用成本。 【典型例题】 1．某市开发部署了一个智能交通系统，通过摄像头和传感器等设备采集交通流量、车辆速度、道路拥堵状况等数据，并通过数据分析为交管部门提供信息决策支持，市民也可以通过APP查询实时的路况信息和出行路线建议。关于该智能交通系统中数据的描述，不正确的是（ ） A．该系统中的数据都依附于同一载体 B．该系统的数据采集以机器获取为主 C．该系统采集处理的数据属于大数据 D．该系统通过摄像头采集的数据是非结构化数据 A 【典型例题】 2．某市开发部署了一个智能交通系统，通过摄像头和传感器等设备采集交通流量、车辆速度、道路拥堵状况等数据，并通过数据分析为交管部门提供信息决策支持，市民也可以通过APP查询实时的路况信息和出行路线建议。下列系统的数据处理方式，不合理的是（ ） A．将视频转换成MPG格式以减少存储空间 B．将拍摄到的违章车牌号码识别成为文本并保存 C．该系统的所有数据统一采用批处理方式进行处理 D．提高该系统音频采集时采样频率和量化位数可以提升音质 C 【典型例题】 3．下列关于对大数据及大数据处理的说法中，不正确的是（ ） A．大数据的本质就是利用计算机集群来处理大批量的数据 B．Hadoop可运行于大规模计算机群上的分布式系统基础构架，适用于静态的批处理计算 C．大数据处理系统无法实现在同一个平台做批处理和流计算 D．实时处理和批处理的整合减少了系统开销，降低了使用成本 C 【典型例题】 4．下列数据分析中可能涉及文本情感分析的是（ ） A．对城市地理位置的分析 B．对影评内容的分析 C．对道路设施的分析 D．对大学男女比例的分析 B 【典型例题】 5．某研究所为研究疾病与年龄的关系，对50个病人的诊断记录进行整理和分析，部分数据如图所示。 图中所示数据，年龄列的数据格式不一致，为了便于数据分析，下列操作合适的是（ ） A．删除“年龄”列数据 B．将“年龄”列含有中文的记录删除 C．将“年龄”列数据转为文本类型 D．将“年龄”列含有汉字的记录修改为只包含阿拉伯数字的年龄 D 【典型例题】 6．小张使用某国产人工智能软件辅助学习编程。该软件通过学习海量的开源代码、编程教程等数据，具备了代码生成能力。小张可将问题以文字、语音、图像等形式进行提交，该软件会生成求解问题的程序代码，并可通过人机对话进一步完善代码。下列关于数据与数据处理的说法，不正确的是（ ） A．文字、语音、图像都是数据的表现形式 B．使用该人工智能软件的过程不会产生新的数据 C．将问题通过麦克风提交给该软件时，需对语音进行数字化 D．数据是人工智能研究的重要资源 B Thanks 主讲人：*** $$