内容正文:
第3章 数据处理与应用
一、选择题
1.下列说法正确的是( )
A.HDFS是一个容错性较低的系统,适合部署在廉价的机器上
B.MapReduce是一种聚合式的并行编程模型
C.常见的中文分词算法有基于词典的分词、基于统计的分词和基于规则的分词
D.标签云通过给特征词赋予权重进行统计分析
2.采集杭州市内的微博数据进行研究,用不同颜色表示心情,在区域地图上展示不同地域的人们在不同时间点情绪的变化。该研究使用的文本数据分析是( )
A.特征提取 B.标签云 C.文本情感分析 D.词频统计
3.按获取数据的渠道,可分为直接数据和间接数据,以下可以获取到直接数据的是( )
A.通过网络查询数据 B.浏览权威网站 C.图书馆查阅资料 D.红外测温枪测体温
4.数据处理的一般过程不包括以下哪一项( )
A.数据采集 B.数据存储 C.数据加工 D.数据丢弃
5.为了形象地呈现数据中的信息,可用不同的图表将数据可视化。图1所用的图表是( )
B3
× ✔ fx
=SUM(B4:B6)
4
A B
C
D E F
1
2022年1-12月广西主要经济指标数据表
2
指标
总量(亿元)
增速(%)
第一产业第二产业第三产业
3
广西生产总值
26300.87|
2.9|
4
第一产业
4269.81
5.0
5
第二产业
8938.57
3.2
6
第三产业
13092.49
2.0
7
8
数据来源:广西壮族自治区统计局
9
图1
A.饼图 B.柱形图 C.雷达图 D.折线图
6.小宋通过某网站,下载了许多福州鼓山的风景照片。这一行为属于( )
A.数据分类 B.数据关联 C.数据链接 D.数据采集
7.期末考试结束后,班主任对各科成绩取平均分,并分析各科成绩与其他班级的差距,这种分析法属于( )
A.对比分析 B.交叉分析 C.平均分析 D.纵横分析
8.超市曾经研究销售数据,发现买商品A的人同时购买商品B的概率很大,这种属于数据挖掘中的( )分析
A.分类 B.关联规则 C.预测 D.聚类
9.数据分析主要用于( )
①现状分析 ②预测分析 ③原因分析 ④漏洞分析
A.②③④ B.①③④ C.①②④ D.①②③
10.当今社会,人们对数据的依赖性越来越强,为了保护数据的安全,以下采取的措施中不合理的是( )
A.安装杀毒软件和防火墙 B.采用备份、镜像等技术
C.对数据进行加密 D.定期更换硬盘
11.撰写数据分析报告的原则不包括( )
A.需要通过各种方法采集到的原始数据
B.要图文并茂,让读者一目了然,富有启发性
C.确保分析过程科学严谨,分析方法选择恰当
D.得出明确的结论,针对问题提出建议和解决方案
12.智能手环测心率功能的数据来源是( )
A.蓝牙 B.Wi-Fi C.手机 D.传感器
13.由于疫情防控需要,学校要求各位班主任老师今天下午5点前上报如下数据;健康码为红码的人缴、黄码的人数、核酸检测次数小于3次的人数、目前不在本市的人数。请问,要完成上述任务,以下哪位班主任老师的做法效率最高? ( )
A.张老师,打电话给全班同学,逐一询问统计
B.李老师,在班级群里发布上报任务,让各位同学直接在群里回复上报。自己最后统计张统计表,发布在班级群里,要求学生下载后接龙填写,完成后由王老师来统计上报
C.王老师,根据学校要求,设计了一张统计表,发布在班级群里,要求学生下载后接龙填写,完成后由王老师来统计上报
D.陈老师,根据学校要求,设计了一张问卷收集表,并把问卷链接通过班级群发给学生,当每个学生填好问卷并提交后,陈老师再到问卷后台统计数据并上报
14.下列不属于大数据分析的是( )
A.特征探索 B.关联分析 C.聚类与分类 D.海量分析
15.如下图所示,智慧交通是以互联网、物联网等网络组合为基础,以智慧路网、智慧装备、智慧出行、智慧管理为重要内容的交通发展新模式,具有信息联通、实时监控、管理协同、人物合一的基本特征。利用大数据技术,通过分析、挖掘这些数据,发现其蕴藏的价值,同时要保证数据安全。下列有关数据管理与安全说法正确的是( )
A.借助云计算与大数据等技术,能提高智慧交通的数据管理水平
B.智慧交通系统的运转完全是自动化的,不需要人为干预
C.台风、雷暴等极端自然灾害不会导致智慧交通出现数据的安全问题
D.智慧交通的数据在传输过程中不需要进行数据加密
16.数据采集是指人们根据需要获取数据,以下不能获取数据的是( )
A.问卷调查采集数据 B.利用传感器采集数据
C.调整表格中数据的字体大小 D.通过网络获取数据
二、填空题
17.数据可视化表达的呈现类型主要分为探索和 两种不同的类型。
18.数据加密的基本目的是 。
19.在《数据与计算》中,数据处理是指对数据进行 、 、 、 和 的过程,它是调查研究的核心活动。
20.常用的数据可视化工具包括 、 、 等。
21.为了更好地了解某地的水质情况,科研人员采集了该地各监测点当天的水质数据。数据中包含了各监测点的水质类别、水温(℃)、pH、溶解氧(mg/L)、高锰酸盐指数(mg/L)。通过数字化学习,小申了解到水质类别从高到低分为1-5类,级别最高(质量最好)为1,级别最低(质量最差)为5。小申根据如表所示的水质数据,编写程序绘制如图1示的各监测点水质类别和溶解氧分布可视化图形。小申编写的程序如下所示,请将程序填写完整,可以点击图标进入开发环境,数据文件与程序位于同一文件夹目录,本题提供的环境仅用作算法验证。
监测点名称
水质类别
水温
pH
溶解氧
高锰酸盐指数
监测点 1
4
24.8
7.25
4.77
5.16
监测点 2
3
23.6
7.56
5.62
3.54
……
图1
import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei']
df=pd.read_csv('T4_3.csv',encoding='ANSI')
plt.title('各监测点水质类别和溶解氧分布')
plt.xlabel('溶解氧(mg/L)')
plt.ylabel('水质类别')
plt.ylim((0,6))
plt.yticks([0,1,2,3,4,5])
___① (df['溶解氧'],df['水质类别'])
plt.show()
三、判断题
22.对商品上的条形码进行扫描,属于数据编码的过程。( )
23.折线图适用于描述数据之间的比例分配关系。( )
24.数据处理的目的是为了将数据转换为信息,帮助人们更好地理解数据。( )
25.数据处理是指对数据进行采集、存储、加工、分析和表达的过程。( )
26.数据分析的目的是从数据中发现规律和趋势,为决策提供支持。( )
四、操作题
27.为了分析商品销售情况,某公司收集了自家销售相关数据并保存到文件“销售清单.xlsx”,表格部分数据如图“图a”所示。分析员据此编写了python程序完成后续分析工作,回答下列问题。(注:单个订单的销售额=单价×数量)
图a 图b
(1)若要分析直播订单中各类别商品的总销售额,可忽略哪个字段?
(2)分析员使用Python的pandas模块编程处理数据,程序如下,请在划线处填入合适的代码
#解决中文乱码,导入相关模块,代码略
df=pd.read_excel('销售清单.xlsx') #导入Excel文件
df["销售额"]=① #在最右边新增“销售额”字段
df=df[df.订单来源=="直播"] #语句1
df2=df.sort_values("销售额",ascending=False) #语句2
df2=df.groupby("② ",as-index=False).sum()#按关键字分组,并统计每组的总和
plt.bar(df2.商品类别,df2.销售额) #语句3
plt.title("各类别销售额") #语句4
plt.xlabel("类别")#横轴名称
plt.ylabel("销售额")#纵轴名称
plt.show()#显示图表
(3)程序运行后生成图如“图b”所示,删除下列哪个语句不会影响图表中柱子图案的高度?
A.语句1 B.语句2 C.语句3 D.语句4
28.小华要搭建教室环境监测系统。该系统能实时监测教室的温度、CO2浓度,并将数据传输至Web服务器,存储到数据库中。老师和同学可通过浏览器查看实时监测结果和历史数据。系统的硬件搭建方式是:服务器通过无线网络连接智能终端,智能终端连接传感器和执行器。请回答下列问题:
(1)搭建系统前期对该系统所需费用和社会意义进行评估,属于 (单选,填字母:A.需求分析/B.可行性分析)。
(2)下列功能需要在服务器上实现的有 (多选,填字母)。
A.采集温湿度传感器上的数据 B.处理浏览器访问请求 C.发送指令直接控制执行器 D.更新数据库
(3)小华基于Flask Web框架编写服务器端的程序,编写完成后,若通过浏览器获取视图函数index()返回页面对应的URL是http://192.168.1.6:5000/,则服务器端应用实例app中与该URL关联的路由设置语句是@app.route(' ')。
(4)小华希望对该系统功能进行扩展,用于保护同学们的视力,请写出增加的传感器和执行器名称及实现的功能。
(5)小华将系统中某天6-21时的CO2数据导出,部分数据如图a所示(时间格式为“时:分:秒”),分析每小时的CO2平均浓度值,线形图如图b所示,部分Python序如下,
请在划线处填入合适代码。
图a 图b
import pandas as pd
import matplotlib.pyplot as plt
df=pd.read_excel("CO2.xlsx")
df.insert(0,"小时","")
for i in df.index:
t=str(df.at[i,"时间"])
df.at[i,"小时"]=t[0:2]
dft=df.groupby("小时").①
plt.plot(② ,dft.CO2监测值)
#设置绘图参数,显示如图b所示的线形图,代码略
(6)根据图a数据及以上程序,小华还想要分析上午10时的CO2浓度最大差值,下列方法中无法实现的是 (单选,填字母)。
A.从df中筛选出小时为“10”的数据dfs,再从dfs中找出CO2监测值最大值和最小值,求两者差值
B.对df中数据分别按CO2监测值进行降序和升序排序,各自取出CO2监测值第1项求差值
C.对df中数据按CO2监测值进行升序排序并保存到dfs,再从dfs中筛选出小时为“10”的数据,第1项与最后1项求差值
试卷第1页,共3页
试卷第1页,共3页
学科网(北京)股份有限公司
参考答案:
1.C
【详解】本题考查数据可视化表达相关内容。HDFS是一个高度容错性的系统,适合部署在廉价的机器上;MapReduce是一种分布式的并行编程模型;标签云用词频表现文本特征,文本情感分析通过给特征词赋予权重进行统计分析。常见的中文分词算法有基于词典的分词、基于统计的分词和基于规则的分词。故本题答案是C选项。
2.C
【详解】本题考查数据分析。文本情感分析指通过计算机技术对文本的主观性、观点、情绪、极性进行挖掘和分析,对文本的情感倾向做出分类判断。故答案为:C。
3.D
【详解】本题考查数据获取。直接数据是通过直接测量或观察获取的数据,而间接数据是通过其他来源获取的数据。选项A通过网络查询数据,选项B浏览权威网站,选项C图书馆查阅资料,这些都是通过间接途径获取数据;选项D红外测温枪测体温是通过直接测量获取数据。故答案为:D。
4.D
【详解】本题考查数据处理。数据丢弃通常不是数据处理过程的一个正式步骤。在某些情况下,可能需要对数据进行筛选或删除,但这通常被视为数据清洗或数据管理的一部分,而不是数据处理过程本身。因此,数据处理的一般过程不包括数据丢弃。故选择D。
5.A
【详解】本题考查数据可视化。图表是工作表的一部分,是数据表的一种表达方式,用来图形化表达数据表,使数据表更明了、直观、用来更加清晰的观察数据之间的关系。从图中可以看出所用的图表是饼图,它反应数据之间的比例分配关系。故选:A。
6.D
【详解】本题考查数据的处理相关知识点。下载的过程属于数据采集过程,采集完数据后进行数据分析、数据分类、数据可视化表达。故本题选D选项
7.C
【详解】本题主要考查数据分析方法。对比分析是指将两个或两个以上的数据进行比较,分析它们的差异,从而揭示这些数据所代表的事物发展变化情况和规律。对比分为横向对比和纵向对比。横向对比指的是类似或者同类事物之间进行比较;纵向对比指的是和相同事物的不同时期进行比较。平均分析法是运用计算平均数的方法反映总体在一定时间、地点等条件下某一数量特征的一般水平。结构分析法是将各个部分与总体进行对比。班主任对各科成绩取平均分,并分析各科成绩与其他班级的差距,这种分析法属于平均分析。故选C。
8.B
【详解】本题考查数据分析相关内容。数据分类是数据分析处理中最基本的方法,数据分类通常的做法是,基于样本数据先训练构建分类函数或者分类模型(也称为分类器),该分类器具有将分类数据项映射到某一特点类别的功能。关联分析就是分析并发现存在于大量数据之间的关联性或相关性,从而描述一个事物中某些属性同时出现的规律和模式。聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发、自动进行分类。预测分析是一种统计或数据挖掘解决方案,包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。超市曾经研究销售数据,发现买商品A的人同时购买商品B的概率很大,这种属于数据挖掘中的关联分析。故本题答案是B选项。
9.D
【详解】本题考查数据分析。数据分析主要用于现状分析,以了解事物当前的状态和特征;预测分析,通过对历史数据的分析和建模,预测未来的趋势和结果;原因分析,探究事物产生某种现象或结果的原因。而漏洞分析并非数据分析的主要用途。故答案为:D。
10.D
【详解】本题考查数据安全。定期更换硬盘可能会导致数据丢失或不便利的数据迁移,而且并不是解决数据安全问题的最有效方法。相反,更合适的做法是定期备份数据,并确保备份数据存储在安全的地方,以防止硬盘损坏或数据丢失。故答案为:D。
11.A
【详解】本题考查的是数据分析报告。撰写数据分析报告的原则包括:要图文并茂,让读者一目了然,富有启发性;确保分析过程科学严谨,分析方法选择恰当;得出明确的结论,针对问题提出建议和解决方案。但不包括需要通过各种方法采集到的原始数据。故本题应选A。
12.D
【详解】本题考查数据采集相关内容。蓝牙技术是一种无线数据和语音通信开放的全球规范,它是基于低成本的近距离无线连接,为固定和移动设备建立通信环境的一种特殊的近距离无线连接技术。Wi-Fi(Wireless Fidelity)是一种无线网络技术,它是一种短距离、高速的无线网络技术,它的作用是使用无线电波的方式来提供网络连接以及在不同的设备之间进行数据传输。传感器是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。智能手环是通过传感器检测使用者的心率。故本题答案是D选项。
13.D
【详解】本题考查数据的采集。张老师打电话逐一询问统计,费时费力,效率低,A选项错误;李老师让学生在群里回复上报,信息容易混乱,且自己最后统计,效率不高,B选项错误;王老师让学生下载表格接龙填写,统计也较繁琐,C选项错误;陈老师设计问卷收集表,通过链接让学生填写,系统自动收集和统计数据,大大提高了效率,D选项正确。故答案为:D。
14.D
【详解】本题考查数据分析相关内容。数据分析的基本方法包括特征探索、关联分析、聚类与分类、数据分类,故本题答案是D选项。
15.A
【详解】本题考查数据管理与安全的描述。借助云计算与大数据等技术,能提高智慧交通的数据管理水平;智慧交通系统的运转不完全是自动化的,需要人为干预;台风、雷暴等极端自然灾害会导致智慧交通出现数据的安全问题;智慧交通的数据在传输过程中需要进行数据加密。故选A。
16.C
【详解】本题考查数据采集。结合选项,可知调整表格中数据的字体大小不能获取数据。故选C。
17.解释
【详解】本题考查数据可视化。数据可视化表达的呈现类型主要分为探索和解释两种。探索型主要用于帮助用户发现数据中的模式、趋势和异常值等,以便进一步深入分析。解释型则侧重于向观众清晰地传达特定的信息、结论或故事,使复杂的数据易于理解。故答案为:解释。
18.保护数据不被未授权访问
【详解】本题考重数据加密。数据加密的基本目的是保护数据不被未授权访问。通过加密,可以将明文数据转换为密文,确保只有授权的用户或系统能够访问和理解其中的内容。加密技术通过使用特定的算法和密钥,将数据转换为非易读的形式,从而防止未经授权的人或恶意程序获取、修改或篡改数据。故答案为:保护数据不被未授权访问。
19. 采集 存储 加工 分析 表达
【详解】本题考查数据处理。
在《数据与计算》中,数据处理是一个至关重要的过程,它指的是对数据进行一系列精心设计的操作,以提取有价值的信息。数据处理主要包括以下几个步骤:
数据采集:
这是数据处理的起始步骤,指的是从各种来源收集原始数据。数据可以来自不同的渠道,如实验、调查、观察、现有数据库等。数据采集的目标是确保获取的数据具有代表性、准确性和完整性,以便后续的分析和处理。
数据存储:
在采集到数据后,需要将其存储在适当的介质中,如硬盘、数据库、云存储等。数据存储的目的是为了长期保存数据,并确保数据的可访问性和安全性。
数据加工:
数据加工是对原始数据进行处理的过程,包括数据的清洗、转换、聚合等操作。数据清洗旨在删除重复数据、处理缺失值和异常值,以确保数据的准确性和一致性。数据转换涉及将数据从一种格式或结构转换为另一种,以满足后续分析的需求。数据聚合则是将多个数据源的数据合并成一致的格式,以便进行综合分析。
数据分析:
数据分析是数据处理的核心环节,它运用统计学、数据挖掘等方法对数据进行深入探究。数据分析旨在揭示数据中的模式、趋势和关联,从而提取有价值的信息和见解。数据分析的结果可以为决策提供支持,帮助组织优化运营、提高效率。
数据表达:
数据表达是将数据分析的结果以可视化或其他形式呈现出来的过程。数据表达的目标是让数据更加易于理解和传播,帮助用户快速获取关键信息。常见的数据表达方式包括图表、报告、仪表板等。
故正确答案为:①采集、②存储、③加工、④分析、⑤表达。
20. Excel Seabom Bokeh
【详解】本题考查的是数据可视化表达工具。常用的数据可视化工具包括Excel、Seabom、Bokeh等。
21.plt.scatter
【详解】本题考查的是panda相关知识。由图中可知绘制的是散点图。故画线处代码为:plt.scatter。
22.错误
【详解】本题考查信息采集。
对商品上的条形码进行扫描,并不直接等同于数据编码的过程。实际上,这一扫描过程是信息的采集。故题目说法错误。
23.错误
【详解】本题考查数据可视化。折线图主要用于描述数据随时间或其他连续变量的变化趋势,它能够清晰地展示数据的波动和变化过程,而不是用于描述数据之间的比例分配关系。比例分配关系通常用饼图、条形图或堆积柱状图来表示,这些图表能够直观地显示各部分相对于整体的比例。因此,折线图不适用于描述数据之间的比例分配关系。故说法错误。
24.正确
【详解】本题考查数据处理。数据处理的目的是将原始数据转换为有用的信息,帮助人们理解和利用数据。故正确答案为:正确。
25.正确
【详解】本题考查数据处理。数据处理确实包括采集、存储、加工、分析和表达的过程。故正确答案为正确。
26.正确
【详解】本题考查数据分析。数据分析的主要目的确实是从大量、多样和复杂的数据中挖掘出有意义的规律和趋势,从而为各种决策提供有力支持。数据分析师需要使用各种技术和工具,如数据挖掘、统计建模、机器学习、数据可视化等,来处理和分析数据。同时,他们还需要具备强大的业务洞察力、沟通能力和团队协作精神,以便将数据分析结果转化为有价值的商业见解。故题干说法正确。
27. 用户ID df.单价*df.数量或df["单价"]*df.[ "数量"] 商品类别 D
【详解】本题考查Python综合应用。
(1)“用户ID”与分析的要求无关。故答案为:用户ID。
(2)①根据题意,销售额=单价*数量,故答案为:df.单价*df.数量。②建立的图表横轴为商品类别,说明以该字段为分类。故答案为:商品类别。
(3)语句4设置图表的标题,但不会影响图表的类型,不会改变图表数据源。故答案为:D。
28. B BD / 增加光线(敏)传感器、补光灯(灯类即可),采集教室光线数据,当教室光线低于一定值,自动开启补光灯。或 增加光线(敏)传感器、蜂鸣器,采集教室光线数据,当教室光线低于一定值,蜂鸣器响起提醒师生开启日光灯。或 增加光线(敏)传感器、智能音箱,采集教室光线数据,当教室光线低于一定值,智能音箱语音提示:光线不足请开启日光灯(或其他言之有理答案) mean() dft.index B
【详解】本题考查的是信息系统搭建及数据分析。
(1)搭建信息系统时,先要进行需求分析,分析系统的功能、性能等需求;然后进行可行性分析和开发模式的选择;接下来进行概要设计,设计时主要考虑系统如何开发,对系统进行模块划分、确定各模块的功能等;最后进行详细设计,主要设计系统的界面和代码等。搭建系统前期对该系统所需费用和社会意义进行评估,属于可行性分析。选B。
(2)采集温湿度传感器上的数据由传感器实现;处理浏览器访问请求需要在服务器上实现;发送指令直接控制执行器由智能终端实现;更新数据库需要在服务器上实现。故选BD。
(3)route('/')定义了根路径 “/”的路由,并将其与 index视图函数关联。
(4)增加光线(敏)传感器、补光灯(灯类即可),采集教室光线数据,当教室光线低于一定值,自动开启补光灯。或 增加光线(敏)传感器、蜂鸣器,采集教室光线数据,当教室光线低于一定值,蜂鸣器响起提醒师生开启日光灯。或 增加光线(敏)传感器、智能音箱,采集教室光线数据,当教室光线低于一定值,智能音箱语音提示:光线不足请开启日光灯。
(5)①处,分析每小时的CO2平均浓度值,故此处为:mean();②处,由图b可知,横坐标为时间,由dft=df.groupby("小时").mean()可知,分组的结果“小时”是作为索引,故此处为:dft.index。
(6)选项B中,对df中数据分别按CO2监测值进行降序和升序排序,各自取出CO2监测值第1项求差值,取到的第1项不一定是上午10时的数据。故选B。
答案第1页,共2页
答案第1页,共2页
学科网(北京)股份有限公司
$$