4.4 初识大数据（课件）-《信息技术基础模块下册》（高教版）同步精品课堂

4.4 初识大数据 信息技术应用基础 同步精品课堂 高教版 1 一 教学目标 知识目标 （1）了解大数据的基础知识 （2）了解大数据采集与分析的相关技术； （3）了解大数据的应用场景 技能目标 （1）了解大数据的基础知识，包括数据特征和采集方式 （2）掌握大数据采集与分析的相关技术，如数据采集、预处理、存储、挖掘和呈现 （3）了解大数据与物联网的关系 （4）熟悉大数据应用场景，如金融、医疗、零售、环保等领域的应用 二 教学重难点 教学重点 （1）大数据基础知识 （2）大数据采集与分析的相关技术 （3）大数据与物联网的关系， （4）大数据应用场景 教学难点 （1）大数据采集与预处理技术 （2）数据挖掘任务 （3）大数据应用场景 （4）复杂网络分析软件 （5）超市商品摆放优化方法 电子表格软件中提供了函数、排序、筛选、分类汇总等数据加工方法。 在日常工作、生活中，数据伴随着每一个人。在本单元前面部分介绍了数据的采集、 加工和分析，这些数据基本是结构化的，大数据与其相比不仅在规模上不同，在采集方 式，特别是分析方法上有着明显的差别。例如，数据全样本(或接近全样本)采集，通过大数据处理技术挖掘其内在价值。大数据是对万物及物与物之间普遍联系的数字量化。 三 导入新课 从技术的角度看，大数据指的是传统数据处理应用软件不足以处理的大或复杂的数据集。从资源的角度看，大数据指的是海量、高速增长和多样化的信息资产。大数据具有数据体量大、数据类型多、数据产生的速度快、数据价值密度低等特征。 四 新知讲授 1. 大数据的基础知识 ① 数据体量大，指存储的数据能达TB(1TB=1024 GB) 、PB(1 PB=1024 TB)、 EB(1 EB=1024 PB) 、ZB(1ZB=1024 EB) 级，未来会更大，目前全球每年总的数据 量已达ZB 级。 ② 数据类型多，指存储的数据包含结构化数据、半结构化数据及非结构化数据等 形式。 ③ 数据产生的速度快，指大数据通过多维度的自动采集和记录，积累速度快，并 具有一定的流动性，如交通视频监控数据。 ④ 数据价值密度低，指大数据蕴含着大价值，但这种价值需要通过专业的技术手段 加以处理才能发现，如同现实世界中只有通过专业的技术手段才能探明矿藏一样。 四 新知讲授 1. 大数据的基础知识 大数据处理主要是指从海量数据中获取需要的信息并进行加工分析得到有用的知 识，通常在大数据管理平台上进行。大数据处理流程一般包括四大步骤：数据采集与预 处理、数据存储、数据挖掘及数据呈现，如图4-51所示。 要从海量的数据中发现价值，取决于大数据分析与数据挖掘的能力。随着计算机运算能力、数据采集与存储技术的持续改进，大数据分析与数据挖掘能力得到迅猛发展，使得先前未知或应用价值不明确的信息被发现和利用。 大数据处理主要是指从海量数据中获取需要的信息并进行加工分析得到有用的知 识，通常在大数据管理平台上进行。大数据处理流程一般包括四大步骤：数据采集与预处理、数据存储、数据挖掘及数据呈现，如图4-51所示。 四 新知讲授 1.大数据采集与分析的相关技术 数据采集，指从传感器或其他采集设备中获取数据。采集的数据包括实时数据和非实时数据，如道路监控、环境温度监测、网页浏览、在线支付、股票交易、外卖订购、出行租车等过程中产生的数据均可以被审慎、客观地采集并记录到文件、数据库或数据仓库中。采集的数据维度越多、越密集，大数据潜在的价值越大。 数据预处理的内容很多，此处主要指数据清洗，即消除在数据采集的过程中由于人为疏忽、设备异常或采样方法不合理等因素造成的数据误差、数据遗失、数据重复等不同类型的问题数据，提高数据质量和完整性。 四 新知讲授 （1）数据采集与预处理 相对引用使用单元格的列号和行号表示单元格地址，如 “B5” 表示B 列第5行的 单元格。相对引用会因为公式所在位置的不同而发生相应的变化，当公式复制到一个新 的位置时，公式中包含的相对地址会随之改变 四 新知讲授 (2)数据存储 大数据的存储需要分布式文件系统和分布式数据库的支持。传统的关系数据库不 能有效地满足大数据中半结构化及非结构化数据的存储与索引处理。NoSQL(Not Only SQL) 泛指非关系型数据库，是大数据存储中常用的数据库。NoSQL数据库主要有三类：面向高性能读写的数据库、面向文档的数据库及面向分布式计算机的数据库。 通过数据挖掘可以发掘先前未知且潜在有用的信息模型或规则，进而产生有价值的 信息和知识，帮助决策者做出适当的决策。数据挖掘所处理的问题类型大致可以分为分 类、预测、聚类及关联规则四种。 四 新知讲授 (3)数据挖掘 使用文本文档，录入中文文章，将完成时间记