4.4 初识大数据（课件）-《信息技术基础模块(下册)》（高教版2023修订版） 《上好课》

4.4 初识大数据 信息技术基础模块(下册) 高等教育出版社 1 了解大数据采集与分析的相关技术 了解大数据的基础知识 了解大数据的应用场景 大数据的特征、处理流程。 大数据的应用场景 理解大数据采集与分析的相关技术 运用大数据处理流程解决实际问题 让我们一起走进大数据的世界，探索它的奥秘。 在日常工作、生活中，数据伴随着每一个人。本单元前面介绍了结构化数据的采集、加工和分析，而大数据与其相比，不仅在规模上不同，在采集方式，特别是分析方法上有着明显的差别。 大数据的基础知识 从技术的角度看，大数据指的是传统数据处理应用软件不足以处理的大或复杂的数据集。 定义 从资源的角度看，大数据指的是海量、高速增长和多样化的信息资产。 大数据具有数据体量大、数据类型多、数据产生的速度快、数据价值密度低等特征。 大数据的基础知识 数据体量大，指存储的数据能达 TB (1 TB = 1024 GB)、PB (1 PB = 1024 TB)、EB (1 EB = 1024 PB)、ZB (1 ZB = 1024 EB) 级，未来会更大，目前全球每年总的数据量已达 ZB 级。 特征 数据类型多，指存储的数据包含结构化数据、半结构化数据及非结构化数据等形式。 数据产生的速度快，指大数据通过多维度的自动采集和记录，积累速度快，并具有一定的流动性，如交通视频监控数据。 数据价值密度低，指大数据蕴含着大价值，但这种价值需要通过专业的技术手段加以处理才能发现，如同现实世界中只有通过专业的技术手段才能探明矿藏一样。 大数据采集与分析的相关技术 大数据处理主要是指从海量数据中获取需要的信息并进行加工分析得到有用的知识，通常在大数据管理平台上进行。 大数据处理流程 大数据处理流程一般包括四大步骤：数据采集与预处理、数据存储、数据挖掘及数据呈现。 大数据采集与分析的相关技术 数据采集，指从传感器或其他采集设备中获取数据。采集的数据包括实时数据和非实时数据，如道路监控、环境温度监测、网页浏览、在线支付、股票交易、外卖订购、出行租车等过程中产生的数据均可以被审慎、客观地采集并记录到文件、数据库或数据仓库中。 数据采集 数据预处理的内容很多，此处主要指数据清洗，即消除在数据采集的过程中由于人为疏忽、设备异常或采样方法不合理等因素造成的数据误差、数据遗失、数据重复等不同类型的问题数据，提高数据质量和完整性。 数据预处理 大数据采集与分析的相关技术 大数据的存储需要分布式文件系统和分布式数据库的支持。传统的关系数据库不能有效地满足大数据中半结构化及非结构化数据的存储与索引处理。 NoSQL (Not Only SQL) 泛指非关系型数据库，是大数据存储中常用的数据库。NoSQL 数据库主要有三类：面向高性能读写的数据库、面向文档的数据库及面向分布式计算机的数据库。 数据存储 大数据采集与分析的相关技术 通过数据挖掘可以发掘先前未知且潜在有用的信息模型或规则，进而产生有价值的信息和知识，帮助决策者做出适当的决策。数据挖掘所处理的问题类型大致可以分为分类、预测、聚类及关联规则四种。 数据挖掘 分类，指通过观察大量数据后得出规则以建立类别模式，将数据中各属性分门别类地加以定义。例如，智能手机中的相册自动分类。 预测，是利用历史数据来预测未来可能发生的行为或现象。例如，根据以往的气象数据预测天气、利用用户搜索历史预测旅游景点的访客人数等。 大数据采集与分析的相关技术 数据挖掘所处理的问题类型大致可以分为分类、预测、聚类及关联规则四种。 数据挖掘 聚类，是根据相似度将数据区分为不同聚类，使同一聚类内的个体距离较近或变异较小，不同聚类间的个体距离较远或变异较大。例如，根据客户的网络浏览习惯推送个性化内容。 关联规则，旨在发现哪些行为或现象总是一起发生。其典型例子是购物篮分析，从中发现交易数据库中不同商品之间的关系，找出顾客购买行为模式，分析结果可以应用于商品货架布局、存货安排等。 大数据采集与分析的相关技术 也称数据展示或数据可视化，是指大数据的可视化技术，能够帮助人们有效理解数据，最终真正利用好大数据。从数据展示的角度来看，可视化技术可以分为数据的结构可视化、功能可视化、关联关系可视化和发展趋势可视化。 数据呈现 例如，查询公交车距离乘客多远，体验大数据呈现。在地图软件中输入起点和终点的位置，点击 “搜索” 按钮就可以获得所需的公交方案。实时公交信息系统能够反馈公交车辆的运行情况，提升乘客的出行效率。 大数据与物联网的关系 物联网数据本身就是一种大数据，是通过大量传感器收集的。数据的分析、处理必须跟上物联网的节奏，所以，物联网推动了大数据的发展。 物联网产生大数据，大数据助力物联网。 以空气质量监测系统数据采集为例，在城市的不同位置安装监测系统，定时向管理部门报告空气质量，这就是物联网的应用。当监测点增多后，就会收集到更多的数据，从而更便于发现一些规律并做出预报，这是利用大数据的技术手段实现的。 大数据应用场景 随着大数据技术的飞速发展，大数据应用已经融入各行各业。 应用场景 大数据在金融服务领域可以用于风险分析和管理、客户忠诚度分析、交易监管等； 在公共领域可以用于网络安全、能耗管理等； 在医疗健康领域可以用于药品发现和开发分析、患者护理质量分析、健康保险、医疗设备供应链管理等； 在零售领域可以用于市场和用户分析、预测销售等； 在环保领域可以用于空气质量监测、排污管理等。 实践体验 - 超市商品位置摆放的优化 分析原始数据 通过超市的购物篮分析，可以找出潜在有用的商品间的关联规则。下面体验一下如何根据销售记录来分析商品之间的关联性。 销售单号 类别编号 类别 商品名称 单价/元 规格 数量 金额/元 21001 A01 奶粉 简易奶粉 60 罐 2 120 21001 B06 啤酒 雪花纯生 5 瓶 3 15 21001 A02 牛奶 特仑苏牛奶 135 箱 1 135 21001 C12 花生 恒康花生 30 包 1 30 21002 B06 啤酒 青岛啤酒 5 瓶 5 25 21002 C12 花生 余姚小花生 36 包 2 72 21002 D02 牙膏 云南白药牙膏 38 支 2 76 21003 B06 啤酒 青岛啤酒 5 瓶 2 10 21003 A01 奶粉 简易奶粉 60 罐 2 120 21002 D02 牙膏 云南白药牙膏 38 支 2 76 21004 A02 牛奶 特仑苏牛奶 135 箱 2 270 实践体验 - 超市商品位置摆放的优化 提取关联信息 将提取的关联信息记录在商品关联记录表中，两件商品中编号小的作为商品编号 1，编号大的作为商品编号 2。为了方便分析，本例中关联度统一设置为 1。销售单号为 21001 的 4 件商品产生 6 条关联记录，销售单号为 21002 的 3 件商品产生 3 条关联记录，销售单号为 21003 的 2 件商品产生 1 条关联记录，销售单号为 21004 的 1 件商品不产生关联记录。 销售单号 商品编号1(小) 商品编号2(大) 关联度 21001 A01 B06 1 21001 A01 A02 1 21001 A01 C12 1 21001 A02 B06 1 21001 B06 C12 1 21001 A02 C12 1 21002 B06 C12 1 21002 B06 D02 1 21002 C12 D02 1 21003 A01 B06 1 实践体验 - 超市商品位置摆放的优化 统计关联数据 根据商品关联记录表，可以利用分类汇总等方法统计出商品关联数据，也可以用图表来分析呈现。 商品编号1(小) 商品编号2(大) 关联次数 A01 A02 1 A01 B06 2 A01 C12 1 A02 B06 1 A02 C12 1 B06 C12 2 B06 D02 1 C12 D02 1 探究与合作 - 复杂网络分析软件 复杂网络分析软件 如果要在列车信息表中，找出任意两个站点之间的所有乘车方案，用电子表格软件手工处理会非常困难。此时通常需要通过专用的程序来分析解决，在 12306 网站搜索车票信息时，平台底层就需要这一功能。 尝试用一款可视化的复杂网络分析软件，如 Gephi，下载列车时刻表，分析两个站点之间的最短旅程或最短时间等。 练一练 拓展内容 大数据安全与隐私保护 在大数据时代，数据安全和隐私保护至关重要。由于大数据涉及大量个人和敏感信息，一旦泄露可能会带来严重的后果。因此，需要采取一系列措施来保障大数据的安全，如数据加密、访问控制、匿名化处理等。同时，相关法律法规也在不断完善，以规范大数据的收集、使用和共享。 大数据发展趋势展望 发展趋势 随着技术的不断进步，大数据的发展前景十分广阔。未来，大数据处理技术将更加高效、智能，能够处理更加复杂和海量的数据。同时，大数据与人工智能、物联网等技术的融合将更加深入，创造出更多的应用场景和商业价值。我们要紧跟大数据发展的趋势，不断学习和掌握新的知识和技能，为未来的职业发展和社会进步做好准备。 随堂检测1 大数据具有哪些特征？ 答案：大数据具有数据体量大、数据类型多、数据产生的速度快、数据价值密度低等特征。 大数据处理流程包括哪几个步骤？ 答案：大数据处理流程一般包括四大步骤：数据采集与预处理、数据存储、数据挖掘及数据呈现。 随堂检测2 数据挖掘所处理的问题类型有哪些？ 答案：数据挖掘所处理的问题类型大致可以分为分类、预测、聚类及关联规则四种。 大数据与物联网有什么关系？ 答案：物联网产生大数据，大数据助力物联网。物联网数据本身就是一种大数据，是通过大量传感器收集的。数据的分析、处理必须跟上物联网的节奏，所以，物联网推动了大数据的发展。 请分组讨论，在我们的日常生活中，还有哪些场景可以应用大数据技术？如何利用大数据技术解决这些场景中的问题？在应用大数据技术时，可能会遇到哪些挑战和问题？ 1. 大数据采集与分析技术 4.4 初识大数据 2. 大数据与其他技术关系 处理流程概述 数据采集与预处理 数据存储 数据挖掘 数据呈现 大数据应用 实践体验——超市商品位置摆放优化 3. 探究与合作 复杂网络分析软件 处理关键要点 应用思考 发展趋势展望 感谢观看 25 $$