必修一第四章 数据处理与应用知识清单-2025-2026学年浙教版高考一轮复习选择性必修1

| 5页
| 328人阅读
| 1人下载
普通

学科网 zxxk.com学科网 zxxk.com

第四章 数据处理与应用

(一)、数据处理

1.数据整理

(1)数据整理的目的

检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量。

(2)常见的数据问题

数据缺失

根据逻辑填充数据

数据重复

1、对重复数据进行合并      2、删除重复数据

数据异常

进行修复

逻辑错误

将逻辑改正确   如:2024/13/25 月份数据超出了月份的最大值

格式不一致

将格式进行统一

 

2.数据计算

    常用的表格数据处理和统计分析工具有 Excel、SPSS、SAS、MATLAB等软件,也可以通过R、Python、Java 等计算机语言编程进行数据处理。

    使用 Excel 软件进行数据计算的一般方法:分析表格数据→抽象计算模型→计算→分析计算结果,描述其含义。

    3.数据分析

    使用 Excel 软件创建图表的一般方法:分析表格数据→选择图表类型→创建图表→检查图表,描述数据特征。

 

(二)、大数据处理

1.大数据处理基本架构及思想

(1)大数据处理的分治思想

分:将问题分解为规模更小的子问题

治:将规模更小的子问题逐个击破

合:将已解决的子问题合并,最终得出原问题的解

    

    (2)大数据处理类型

    ①静态数据:在处理时已收集完成、在计算时不会发生改变的数据,一般采用批处理计

算进行处理。

    ②流数据;不间断地、持续地到达的实时数据,随着时间的流逝,流数据的价值也随之降低,可采用流计算进行实时分析;比如大型购物网站的广告推荐、社交网络的个性化推荐、根据交通路况实时更新导航线路等应用场景。

    ③图数据:现实世界中的许多数据,比如社交网络、网络浏览与购买行为、传染病的传播路径等,可采用图计算进行处理

    (3)批处理计算

Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构,适用于静态数据的批处理计算。Hadoop 计算平台主要包括 Common 公共库、分布式文件系统 HDFS、分page number 0

学科网 zxxk.com学科网 zxxk.com学科网(北京)股份有限公司


学科网 zxxk.com学科网 zxxk.com

布式数据库 HBase,分布式并行计算模型 MapReduce 等多个模块。

①分布式文件系统 HDFS:HDFS 将大规模数据以文件形式、用多个副本保存在不同

的存储节点中,并用分布式系统进行管理,HDFS 容错性高,适合部署在廉价的机器上,

②分布式数据库 HBase:HBase建立在 HDFS 提供的底层存储基础上,采用基于列的

存储方式,主要用来存储非结构化数据和半结构化数据。

结构化数据:简单来说就是数据库,指可以使⽤关系型数据库表⽰和存储,表现为⼆维形式的数据。⼀般特点是:数据以⾏为单位,⼀⾏数据表⽰⼀个实体的信息,每⼀⾏数据的属性是相同的。结合到典型场景中更容易理解,⽐如企业ERP、财务系统;医疗HIS数据库;教育⼀卡通;政府⾏政审批;其他核⼼数据库等。这些应⽤需要哪些存储⽅案呢?基本包括⾼速存储应⽤需求、数据备份需求、数据共享需求以及数据容灾需求。

⾮结构化数据:包括视频、⾳频、图⽚、图像、⽂档、⽂本等形式。具体到典型案例中,像是医疗影像系统、教育视频点播、视频监控、国⼟GIS、设计院、⽂件服务器(PDM/FTP)、媒体资源管理等具体应⽤,这些⾏业对于存储需求包括数据存储、数据备份以及数据共享等。

半结构化数据:包括邮件、HTML、报表、资源库等等,典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。这些应⽤对于数据存储、数据备份、数据共享以及数据归档 等基本存储需求。

③分布式并行计算模型 MapReduce;MapReduce 能够处理大规模数据集的并行运算,

主要由 Map(映射)和Reduce(归纳)两个函数构成,其核心处理思想是将任务分解并分发到多个节点上进行处理,最后汇总输出。

(4)流计算

流计算系统可以简单、高效、可靠地实现实时数据的获取、传输和存储,在与数据库、Hadoop、编程语言等整合后可开发出功能强大的实时计算与分析应用。

(5)图计算

现实世界中的很多数据是以图的形式呈现的,或者是可以转换为图以后再进行分析的,如社交网络、网络浏览与购买行为、传染病的传播路径等。

 

2.编程处理数据

一、利用pandas模块处理数据

pandas提供了Series和DataFrame两种数据结构,这两种数据结构可完成数据的整理、计算、统计、分析及简单可视化。

在Python中引入pandas模块的方法如下:

   

二、DataFrame

(1)DataFrame是一个二维的数据结构,包含:1个索引列和n个数据列(即1+n模式),每个数据列可以是不同的类型。DataFrame可以看作是共享同一个index的Series的集合。创建DataFrame对象的方法很多,通常用一个相等长度的列表或字典来创建。

(2)DataFrame对象常用属性

属性

说明

index

DataFrame的行索引

columns

存放各列的列标题

values

存放值的二维数据

T

行列转置

1.Pandas 允许直接从 xlsx 等文件中导入数据:read_excel

例:df=pd.read_excel(“chengji.xlsx“)page number 1

学科网 zxxk.com学科网 zxxk.com学科网(北京)股份有限公司


由于学科网是一个信息分享及获取的平台,不确保部分用户上传资料的 来源及知识产权归属。如您发现相关资料侵犯您的合法权益,请联系学科网,我们核实后将及时进行处理。