必修一第四章 数据处理与应用知识清单-2025-2026学年浙教版高考一轮复习选择性必修1
第四章 数据处理与应用
(一)、数据处理
1.数据整理
(1)数据整理的目的
检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量。
(2)常见的数据问题
数据缺失 | 根据逻辑填充数据 |
数据重复 | 1、对重复数据进行合并 2、删除重复数据 |
数据异常 | 进行修复 |
逻辑错误 | 将逻辑改正确 如:2024/13/25 月份数据超出了月份的最大值 |
格式不一致 | 将格式进行统一 |
2.数据计算
常用的表格数据处理和统计分析工具有 Excel、SPSS、SAS、MATLAB等软件,也可以通过R、Python、Java 等计算机语言编程进行数据处理。
使用 Excel 软件进行数据计算的一般方法:分析表格数据→抽象计算模型→计算→分析计算结果,描述其含义。
3.数据分析
使用 Excel 软件创建图表的一般方法:分析表格数据→选择图表类型→创建图表→检查图表,描述数据特征。
(二)、大数据处理
1.大数据处理基本架构及思想
(1)大数据处理的分治思想
分:将问题分解为规模更小的子问题
治:将规模更小的子问题逐个击破
合:将已解决的子问题合并,最终得出原问题的解
(2)大数据处理类型
①静态数据:在处理时已收集完成、在计算时不会发生改变的数据,一般采用批处理计
算进行处理。
②流数据;不间断地、持续地到达的实时数据,随着时间的流逝,流数据的价值也随之降低,可采用流计算进行实时分析;比如大型购物网站的广告推荐、社交网络的个性化推荐、根据交通路况实时更新导航线路等应用场景。
③图数据:现实世界中的许多数据,比如社交网络、网络浏览与购买行为、传染病的传播路径等,可采用图计算进行处理
(3)批处理计算
Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构,适用于静态数据的批处理计算。Hadoop 计算平台主要包括 Common 公共库、分布式文件系统 HDFS、分
学科网(北京)股份有限公司
布式数据库 HBase,分布式并行计算模型 MapReduce 等多个模块。
①分布式文件系统 HDFS:HDFS 将大规模数据以文件形式、用多个副本保存在不同
的存储节点中,并用分布式系统进行管理,HDFS 容错性高,适合部署在廉价的机器上,
②分布式数据库 HBase:HBase建立在 HDFS 提供的底层存储基础上,采用基于列的
存储方式,主要用来存储非结构化数据和半结构化数据。
结构化数据:简单来说就是数据库,指可以使⽤关系型数据库表⽰和存储,表现为⼆维形式的数据。⼀般特点是:数据以⾏为单位,⼀⾏数据表⽰⼀个实体的信息,每⼀⾏数据的属性是相同的。结合到典型场景中更容易理解,⽐如企业ERP、财务系统;医疗HIS数据库;教育⼀卡通;政府⾏政审批;其他核⼼数据库等。这些应⽤需要哪些存储⽅案呢?基本包括⾼速存储应⽤需求、数据备份需求、数据共享需求以及数据容灾需求。
⾮结构化数据:包括视频、⾳频、图⽚、图像、⽂档、⽂本等形式。具体到典型案例中,像是医疗影像系统、教育视频点播、视频监控、国⼟GIS、设计院、⽂件服务器(PDM/FTP)、媒体资源管理等具体应⽤,这些⾏业对于存储需求包括数据存储、数据备份以及数据共享等。
半结构化数据:包括邮件、HTML、报表、资源库等等,典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。这些应⽤对于数据存储、数据备份、数据共享以及数据归档 等基本存储需求。
③分布式并行计算模型 MapReduce;MapReduce 能够处理大规模数据集的并行运算,
主要由 Map(映射)和Reduce(归纳)两个函数构成,其核心处理思想是将任务分解并分发到多个节点上进行处理,最后汇总输出。
(4)流计算
流计算系统可以简单、高效、可靠地实现实时数据的获取、传输和存储,在与数据库、Hadoop、编程语言等整合后可开发出功能强大的实时计算与分析应用。
(5)图计算
现实世界中的很多数据是以图的形式呈现的,或者是可以转换为图以后再进行分析的,如社交网络、网络浏览与购买行为、传染病的传播路径等。
2.编程处理数据
一、利用pandas模块处理数据
pandas提供了Series和DataFrame两种数据结构,这两种数据结构可完成数据的整理、计算、统计、分析及简单可视化。
在Python中引入pandas模块的方法如下:
二、DataFrame
(1)DataFrame是一个二维的数据结构,包含:1个索引列和n个数据列(即1+n模式),每个数据列可以是不同的类型。DataFrame可以看作是共享同一个index的Series的集合。创建DataFrame对象的方法很多,通常用一个相等长度的列表或字典来创建。
(2)DataFrame对象常用属性
属性 | 说明 |
index | DataFrame的行索引 |
columns | 存放各列的列标题 |
values | 存放值的二维数据 |
T | 行列转置 |
1.Pandas 允许直接从 xlsx 等文件中导入数据:read_excel
例:df=pd.read_excel(“chengji.xlsx“)
学科网(北京)股份有限公司