必修1 专题七 大数据处理与应用-【导与练】2024高考信息技术一轮复习高中总复习第1轮教师用书word(浙江专用)
专题七 大数据处理与应用
一、大数据处理的基本思想与架构
1.大数据处理的基本思想
大数据处理的基本思想是分治思想。分治,就是把一个复杂的问题分成两个或更多相同或相似的子问题,找到求这几个子问题的解法后,再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决,可以再把它们分成几个更小的子问题,以此类推,直至可以直接求出解为止。
2.大数据处理类型和架构
学科网(北京)股份有限公司
数据类型和特征 | 处理方式和架构 | 应用场景 |
静态数据:大容量静态数据集 | 批处理计算 (Hadoop、Spark等) | 适合处理对时间要求不高的非常大规模数据集 |
流数据:不间断地、持续地到达的实时数据 | 流计算 (Storm、Heron等) | 对通过系统传输的每个数据项执行操作。比如根据交通路况实时更新导航线路 |
图数据:由数十亿的节点和数千亿的边组成的错综复杂的数据形式 | 图计算 (Pregel、GraphX等) | 如社交网络、道路交通、传染病的传播路径等 |
二、利用pandas模块处理数据
1.Python数据处理常用的扩展模块有:
numpy | Python中做科学计算的基础库,主要提供科学计算中常用的随机数、数组运算等基础函数 |
scipy | 基于numpy构建的一个模块,增强了在高等数学、信号处理、图像处理、统计等方面的处理能力 |
pandas | 基于numpy实现,主要用于数据的处理和分析。它提供了大量处理数据的函数和方法,能方便地操作大型数据集 |
matplotlib | 用以绘制二维图形的Python模块 |
学科网(北京)股份有限公司
2.Series(系列)
(1)Series是一种一维的数据结构,包含一个数组的数据和一个与数据关联的索引(index)。
(2)Series对象的常用属性
属性 | 说明 |
index | Series的下标索引,其值默认是从0起递增的整数,也可以指定索引内容,如index=["a","b","c"] |
values | 存放Series值的一个数组 |
①创建Series对象
import pandas as pd
a=["王小明",175,18]
s1=pd.Series(a)
■也可以表示为:
import pandas as pd
s1=pd.Series(["王小明",175,18])
输出s1对象如下图所示:
学科网(北京)股份有限公司