必修1 第四章 第三节 大数据处理-【学考一号】2024新教材高中信息技术学业水平复习方略课堂精讲

课堂精讲 学考一号 高中学业水平复习方略 信息技术 构·网络体系 第三节 大数据处理 2 学·知识清单 大数 据处 理 2 可视化的典型案例 可视化的工具 可视化的基本方法 可视化的作用 文本数据处理 大数据的典型应用 数据可视化 电子商务 智能交通 文本数据分析与应用 文本数据处理的一般过程 考点一 文本数据处理 1. 文本数据处理主要应用在搜索引擎尧情 报分析尧自动摘要尧自动校对尧论文查重尧文本分 类尧垃圾邮件过滤尧机器翻译尧自动应答等方面遥 2. 典型的文本处理过程主要包括分词尧特 征提取尧数据分析尧结果呈现等遥 渊1冤中文分词遥 分词是将连续的字序列按照一定的规范重 新组合成词序列的过程袁也就是将一个汉字序 列切分成一个一个单独的词遥 渊2冤特征提取遥 通过特征提取来找出最具代表性尧 最有效 的文本特征遥 淤特征词院在中文文本分析中可以采用字尧 词或短语作为表示文本的特征项遥 大多数中文 文本分析中采用词作为特征项遥 通常用分词算 法和词频统计得出的结果作为特征词遥 于特征提取方式院根据专家的知识挑选有 价值的特征曰用数学建模的方法构造评估函数 自动选取特征等遥 3. 文本数据分析与应用遥 渊1冤标签云院是文本可视化的一种方式遥 它 用词频表现文本特征袁将关键词按照一定的顺 序和规律排列袁如频度递减尧字母顺序等袁并以 文字大小的形式代表词语的重要性遥 渊2冤文本情感分析院通过计算机技术对文 本的主观性尧观点尧情绪尧极性进行挖掘和分析袁 对文本的情感倾向做出分类判断遥 考点二 数据可视化 1. 数据可视化是将数据以图形图像等形 式表示袁直接呈现数据中蕴含信息的处理过程遥 2. 可视化的作用遥 渊1冤快捷观察与追踪数据遥 利用可视化技 术袁 可以将处于不断变化中的数据生成实时变 化的可视化图表袁帮助人们快捷地发现各种数 据的动态变化过程遥 渊2冤实时分析数据遥 利用可视化技术袁可以 实时将数据转换为图像呈现给用户袁帮助用户 分析数据的内涵和特征遥 渊3冤增强数据的解释力与吸引力遥利用数据 图表袁直观尧动态地呈现新闻尧研究报告等内容袁 可以帮助人们在短时间内了解内容尧理解数据 背后的含义袁同时增强数据的吸引力袁提高人们 的阅读兴趣遥 分词方法 说明 基于词典的 分词方法 也称为基于字符匹配的分词方法袁即 在分析句子时与词典中的词语进行 对比袁词典中出现的就划分为词 基于统计的 分词方法 统计分词的思想是依据上下文中相 邻字出现的频率统计袁同时出现的次 数越高就越可能组成一个词 基于规则的 分词方法 通过让计算机模拟人的理解方式袁根 据大量的现有资料和规则进行学习袁 达到对文字进行分词的效果 28 类别 数据间关系的描述 可视化方法 有关时间趋势的可视化 事物随时间的推移而变化的过程或趋势 柱形图尧折线图等 有关比例的可视化 各部分的大小及其占总体比例的情况 饼图尧环形图等 有关关系的可视化 变量之间的关联性和分布关系 散点图尧气泡图等 有关差异的可视化 包括多种变量的对象与同类之间的差异和联系 雷达图 有关空间关系的可视化 分析和展示与地理位置相关的数据 地图 4. 可视化的工具遥 主要用于数据可视化的工具有大数据魔 镜尧Gephi尧Tableau等袁也可以使用 Python尧R等计 算机语言编写程序实现数据的可视化遥此外袁还 有一些优秀的可视化工具库袁如基于 JavaScript 的 D3.js尧Highcharts尧Google Charts等袁基于 Python 的 matplotlib等遥 渊1冤Tableau主要用于实时可视化分析遥 渊2冤D3.js是运行在 JavaScript上的数据可视 化开源工具库遥 渊3冤Highcharts 是一个用纯 JavaScript 编写 的尧基于 HTML5技术的开源图表库袁支持移动 端袁能够简单便捷地在 Web网站或是 Web应用 程序中添加动态尧交互性的图表遥 渊4冤Google Charts 是为浏览器与移动设备 定制的交互式图表开发包袁用于在 Web上可视 化数据遥 5. 可视化的典型案例遥 渊1冤风尧气象尧海洋状况的全球地图遥 渊2冤编程语言之间的影响力关系图遥 渊3冤野双十一冶全网销售直播图遥 渊4冤航班飞行实时跟踪地图遥 渊5冤微博热词趋势图遥 考点三 大数据典型应用 随着大数据在各行业的应用袁 数据成为核 心资产遥大数据被广泛应用于金融尧交通尧环境尧 医疗尧能源尧农业等行业遥 1. 智能交通遥 渊1冤智能交通整合了物联网尧大数据尧云计 算尧人工智能等技术遥 渊2冤GPS尧卡口尧视频检测尧浮动车尧地感线圈 等产生的交通流监测数据尧视频监控数据尧系统 数据尧服务数据等构筑了交通大数据遥交通大数 据是智能交通中野智能冶的基础遥 渊3冤云计算为大数据的分析应用提供了