第四章 数据处理与应用（复习课件（2）） - 浙教版（2019）高中信息技术必修1

4.数据处理与应用（2） 主讲人：*** 浙教版信息技术必修一《数据与计算》 【知识体系】 2 【知识梳理】 二、大数据处理 （三）编程处理数据 1. 利用pandas模块处理数据 （1）Series Series是一种一维的数据结构，包含一个数组的数据和一个与数据关联的索引（index），索引值默认是从0起递增的整数。列表、字典等可以用来创建 Series 数据结构，与列表不同的是，Series 的索引可以指定，类型可以为字符串型。 【知识梳理】 二、大数据处理 （三）编程处理数据 1. 利用pandas模块处理数据 （2）DataFrame DataFrame 是一种二维的数据结构，由1个索引列（index）和若干个数据列组成，每个数据列可以是不同的类型。DataFrame可以看作是共享同一个index 的Series的集合。创建DataFrame对象的方法很多，通常用一个相等长度的列表或字典来创建。 【知识梳理】 二、大数据处理 （三）编程处理数据 1. 利用pandas模块处理数据 （2）DataFrame 【知识梳理】 二、大数据处理 （三）编程处理数据 2. 利用matplotlib 模块绘图 matplotlib是一个绘图库，使用其中的pyplot子库所提供的函数可以快速绘图和设置图表的坐标轴、坐标轴刻度、图例等。 【知识梳理】 二、大数据处理 （三）编程处理数据 3. 利用Python分析数据实践 （1）分析数据 （2）编制程序 （3）查看结果 【知识梳理】 二、大数据处理 （四）文本数据处理 1. 文本数据处理的一般过程 【知识梳理】 二、大数据处理 （四）文本数据处理 1. 文本数据处理的一般过程 （1）中文分词 分词是将连续的字序列按照一定的规范重新组合成词序列的过程，也就是将一个汉字序列切分成一个一个单独的词。常用算法如下3类： ①基于词典的分词方法，也称作基于字符匹配的分词方法，即在分析句子时与词典中的词语进行对比，词典中出现的就划分为词。 ②基于统计的分词方法，统计分词的思想是依据上下文中相邻字出现的频率统计，同时出现的次数越高就越可能组成一个词。 ③基于规则的分词方法，通过让计算机模拟人的理解方式，根据大量的现有资料和规则进行学习，达到对文字进行分词的效果。 【知识梳理】 二、大数据处理 （四）文本数据处理 1. 文本数据处理的一般过程 （1）中文分词 【知识梳理】 二、大数据处理 （四）文本数据处理 1. 文本数据处理的一般过程 （2）特征提取 在中文文本分析中可以采用字、词或短语作为表示文本的特征项。目前，大多数中文文本分析中都采用词作为特征项，这种词称作特征词。 通过特征提取来减少特征词的数量，提高文本处理的速度和效率。 特征提取一般采用的方式为根据专家的知识挑选有价值的特征，或者用数学建模的方法构造评估函数自动选取特征等。 【知识梳理】 二、大数据处理 （四）文本数据处理 2.文本数据分析与应用 （1）标签云 标签云用词频表现文本特征，将关键词按照一定的顺序和规律排列，如频度递减、字母顺序等，并以文字大小的形式代表词语的重要性，广泛应用于报纸、杂志等传统媒体和互联网。 【知识梳理】 二、大数据处理 （四）文本数据处理 2.文本数据分析与应用 （2）文本情感分析 文本情感分析是指通过计算机技术对文本的主观性、观点、情绪、极性进行挖掘和分析，对文本的情感倾向做出分类判断。文本情感分析作为一个多学科交叉的研究领域，涉及自然语言处理、信息检索、机器学习、人工智能等领域。主要应用于网络舆情监控、用户评论分析与决策、信息预测等众多领域。 【知识梳理】 二、大数据处理 （五）数据可视化 1. 可视化的作用 （1）快捷观察与追踪数据 （2）实时分析数据 （3）增强数据的解释力与吸引力 【知识梳理】 二、大数据处理 （五）数据可视化 2. 可视化的基本方法 （1）有关时间趋势的可视化：可用柱形图、折线图等 （2）有关比例的可视化：可用饼图、环形图等 （3）有关关系的可视化：可用散点图、气泡图等 （4）有关差异的可视化：可用雷达图 （5）有关空间关系的可视化：可运用不同颜色或图表直接表现在地图上 【知识梳理】 二、大数据处理 （五）数据可视化 3. 可视化的工具 （1）Tableau：主要用于实时可视化分析 （2）D3.js：是运行在JavaScript上的数据可视化开源工具库。它使用数据驱动的方式，结合强大的可视化组件，可以创建实时交互的网页。 （3）Highcharts：用纯JavaScript编写的、基于HTML5技术的开源图表库， 支持移动端，能够简单便捷地在Web网站或是Web应用程序中添加动态、交互性的图表。 （4）Google Charts：为浏览器与移动设备定制的交互式图表开发包，用于在Web上可视化数据，能生成交互式图表，可实时输入数据或用仪表盘控制数据。 【知识梳理】 二、大数据处理 （五）数据可视化 4. 可视化的典型案例 （1）风、气象、海洋状况的全球地图 （2）编程语言之间的影响力关系图 （3）“双十一”全网销售直播图 （4）航班飞行实时跟踪地图 （5）微博热词趋势图 【知识梳理】 三、大数据典型应用 （一）智能交通 智能交通主要通过交通信息服务、交通管理、公共交通、车辆控制、货运管理、电子收费、紧急救援等服务子系统为用户提供服务。 1.交通信息服务系统 2.交通管理系统 3.电子收费系统 【知识梳理】 三、大数据典型应用 （二）电子商务 电子商务企业利用电子设备和网络技术进行商务活动。大型电商企业拥有大量用户数据，同时，在交易、营销、供应链、仓储、配送和售后等环节也产生了大量数据。这些数据通过电商企业的数据平台，为其电子商务平台上的商户和客户提供精准营销、供应链管理、智能网站等多种数据服务。 1.精准营销 2.供应链管理 3.智能网站 【典型例题】 1．某停车场车位引导系统的功能：每个车位上方都装有传感器，前方装有车位指示灯（空车位显示绿色，否则显示红色），如图所示，车位探车测器检测的结果实时存储在服务器中，服务器统计空车位总数并在停车场入口处的显示屏中呈现。下列有关该系统数据处理过程的说法，不正确的是（ ） A．利用传感器采集数据是数据采集的一种方式 B．系统采集的数据需要整理后方可使用 C．服务器中的数据以十六进制形式存储 D．指示灯颜色的转换需要运算实现 C 【典型例题】 2．华为Meta ERP是一款集成化的企业管理软件系统。它将企业的所有业务流程数字化，从采购、生产、销售到客户服务，实现端到端的全流程数字化管理，通过大数据、人工智能等技术，可为企业提供数据分析和预测，帮助企业实现智能化决策。下列关于大数据和人工智能的说法，正确的是（ ） A．该系统采用大数据技术，必须保证所有数据的准确性 B．该系统采用批处理计算对实时数据进行实时分析与计算 C．该系统通过模仿人类大脑中神经元之间的复杂交互来进行认知推理，属于符号主义人工智能 D．人工智能辅助企业进行智能化决策，属于混合增强人工智能 D 【典型例题】 3．某省2024年招生分数线数据保存在文件“zsfs.xlsx”中，部分数据如图所示，编写Python程序，统计台州学院计划数最多的5个专业。 方框中代码由下列语句中的部分语句组成： ①df_g=df[学校名称=="台州学院"] ②df_g=df["学校名称"=="台州学院"] ③df_s=df.sort_values（"计划数",ascending=True） #升序排序 ④df_s=df_g.sort_values（"计划数",ascending=False） 要实现上述功能，下列选项中正确的是（ ） A．①④ B．①③ C．②③ D．②④ D 【典型例题】 4．小张从北京出差至杭州。出发前，他在手机上登入12306售票系统购买火车票、完成支付，检票时刷身份证通过闸机。到杭州站下车后，小张在手机量航软件中通过语音输入目的地规划行程路线，打车前往宾馆，途中导航软件会在地图中实时显示道路拥堵状况等信息。下列关于该材料中数据与数据处理的说法，不正确的是（ ） A．火车票上的文字是数据的一种表现形式 B．大数据处理技术能增强导航服务的智能性 C．导航数据的可视化有利于观察和分析数据 D．用语音规划行程路线时无需对用户语音进行数字化 D 【典型例题】 5．文本经数据处理后生成的标签云图片如图所示，下列说法不正确的是（ ） A．通过该标签云可以对文本情感倾向做出判断 B．从图中分析可知，词语“行者”的重要性比“师父”高 C．文本数据处理的过程是非结构化数据转变成结构化数据的过程 D．该标签云的制作经过了分词、特征提取、数据分析以及结果呈现等步骤 A 【典型例题】 6．体感技术与自然语言交互是继键盘+鼠标、多点触控之后获得广泛应用的第三大类操作方式。体感技术使人们无须借助复杂的控制设备，直接使用肢体动作与数字设备和环境进行互动，并根据人的动作来完成各种指令，就像为计算机配备了一双精准有效的“眼睛”。体感技术不但是一种创新的操控方式，在大数据和人工智能技术的助力下，它还拥有强大的数据监测和数据分析功能，为人们提供更加个性化的服务。可以预期，未来的体感交互将体现为可穿戴设备的形式，成为“数字土著”一代身上的必备学习品，为用户带来更刺激、更具现场感的愉悦学习体验。下列关于大数据和大数据处理说法正确的是（ ） A．处理大数据时一般采用分治思想 B．体感技术中所监测到的数据都属于静态数据 C．大数据通常对抽样数据进行分析，强调事物之间的关联性 D．文本数据处理一般先进行数据分析，再进行分词、特征提取等处理 A Thanks 主讲人：*** $$