必修1 专题七 大数据处理与应用-【导与练】2024高考信息技术一轮复习高中总复习第1轮教师用书word(浙江专用)

| 31页
| 113人阅读
| 8人下载
教辅
山东瀚海书韵教育科技有限公司
进店逛逛

学科网 zxxk.com学科网 zxxk.com

学科网 zxxk.com

专题七 大数据处理与应用

一、大数据处理的基本思想与架构

1.大数据处理的基本思想

大数据处理的基本思想是分治思想。分治,就是把一个复杂的问题分成两个或更多相同或相似的子问题,找到求这几个子问题的解法后,再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决,可以再把它们分成几个更小的子问题,以此类推,直至可以直接求出解为止。

2.大数据处理类型和架构page number 0

学科网 zxxk.com学科网 zxxk.com学科网(北京)股份有限公司

学科网 zxxk.com


学科网 zxxk.com学科网 zxxk.com

学科网 zxxk.com

数据类型和特征

处理方式和架构

应用场景

静态数据:大容量静态数据集

批处理计算

(Hadoop、Spark等)

适合处理对时间要求不高的非常大规模数据集

流数据:不间断地、持续地到达的实时数据

流计算

(Storm、Heron等)

对通过系统传输的每个数据项执行操作。比如根据交通路况实时更新导航线路

图数据:由数十亿的节点和数千亿的边组成的错综复杂的数据形式

图计算

(Pregel、GraphX等)

如社交网络、道路交通、传染病的传播路径等

二、利用pandas模块处理数据

1.Python数据处理常用的扩展模块有:

numpy

Python中做科学计算的基础库,主要提供科学计算中常用的随机数、数组运算等基础函数

scipy

基于numpy构建的一个模块,增强了在高等数学、信号处理、图像处理、统计等方面的处理能力

pandas

基于numpy实现,主要用于数据的处理和分析。它提供了大量处理数据的函数和方法,能方便地操作大型数据集

matplotlib

用以绘制二维图形的Python模块

page number 1

学科网 zxxk.com学科网 zxxk.com学科网(北京)股份有限公司

学科网 zxxk.com


学科网 zxxk.com学科网 zxxk.com

学科网 zxxk.com

 

2.Series(系列)

(1)Series是一种一维的数据结构,包含一个数组的数据和一个与数据关联的索引(index)。

(2)Series对象的常用属性

属性

说明

index

Series的下标索引,其值默认是从0起递增的整数,也可以指定索引内容,如index=["a","b","c"]

values

存放Series值的一个数组

 

①创建Series对象

import pandas as pd

a=["王小明",175,18]

s1=pd.Series(a)

■也可以表示为:

import pandas as pd

s1=pd.Series(["王小明",175,18])

输出s1对象如下图所示:

学科网 zxxk.com学科网 zxxk.com学科网(北京)股份有限公司

学科网 zxxk.com


由于学科网是一个信息分享及获取的平台,不确保部分用户上传资料的 来源及知识产权归属。如您发现相关资料侵犯您的合法权益,请联系学科网,我们核实后将及时进行处理。