专题4 活用数据处理 任务4 初识大数据 课件 “十四五”职业教育国家规划教材(中等职业学校公共基础课程教材)

任务4 初识大数据 专题4 活用数据处理 “十四五”职业教育国家规划教材（中等职业学校公共基础课程教材） 信息技术（基础模块）上册 01 任务描述 03 知识学习 05 拓展延伸 07 举一反三 02 感知体验 04 讨论活动 06 自我评价 08 目 录 01任务描述 小小经常听到“大数据”“云计算”“人工智能”这些时尚术语，但她不是特别了解大数据及其应用。通过网络查询，了解到大数据的处理分析正成为新一代融合应用的结点，大数据已经渗透进我们的生活、学习和工作中，如大数据技术能实现交通优化，能通过收集家庭能耗数据给人们切实可用的节能提醒。 0 01 任务描述 03 知识学习 05 拓展延伸 07 举一反三 02 感知体验 04 实践操作 06 自我评价 08 目 录 02感知体验 小小想和同学一起去看电影，但不清楚最近哪些电影票房高，小小利用百度查询，访问了观影大数据网站——艺恩，如图 4-4-1 所示。在网站上可以看到最近全国播放电影的大数据信息，是不是很奇妙。 0 01 任务描述 03 知识学习 05 拓展延伸 07 举一反三 02 感知体验 04 讨论活动 06 自我评价 08 目 录 03知识学习 1. 认识大数据 新一代信息技术的发展，给信息时代带来无处不在的技术应用，海量数据不断产生，蕴含着巨大的社会、经济、科研价值。大数据（Big Data）又称巨量资料，指的是无法在一定时间范围内通过人脑甚至主流软件工具进行捕捉、管理和处理的数据集合，它需要在信息技术支撑下，利用全新的数据分析处理方法，在海量、复杂、散乱的数据集合中提取有价值信息的技术处理过程，其核心就是对数据进行智能化的信息挖掘，并发挥其作用。 0 03知识学习 2. 大数据的特征 大数据是在极短的时间内通过信息技术和软硬件工具对实际发生的各类事件产生的信息进行感知、获取、管理、处理和服务的巨量数据集合。它具有数据规模大、来源丰富、类型复杂、变化迅速等诸多特征。传统数据就是 IT 业务系统里面的数据，如输入或导入的产品信息、客户资料、财务数据等。传统数据是结构化的，数据量在 TB 级以下。大数据包括结构化的传统数据以及来源于社区网络、互联网、物联网等渠道的文本、图片、音频、视频等非结构化的数据，如图 4-4-3 所示。 0 地图导航已成为交通重要应用之一，基于对海量数据的合理分析，提供实时路况及路况预测等服务，应用于各大城市。同学们在计算机浏览器中打开百度地图智慧交通网站，查看所在城市的拥堵情况，以及基于大数据预测的未来拥堵情况。图 4-4-2 所示为重庆市实时拥堵情况。 03知识学习 2. 大数据的特征 0 03知识学习 2. 大数据的特征 根据大数据产生、采集、处理和应用的特点，总结其具有以下特征，简称“4V”：①大量（Volume）：数据体量巨大，达到 PB 级别；②多样（Variety）：数据类型繁多，有网络日志、视频、图片、地理位置信息、环境信息、生物体征信息等；③高速（Velocity）：处理速度快，可从各种类型数据中快速获取高价值信息，与传统的数据挖掘技术有本质区别；④价值（Value）：只要合理利用数据并对其进行正确、准确的分析，就会带来高价值回报。大数据的“4V”特征如图 4-4-4 所示。 0 03知识学习 3. 大数据的采集与分析方法 大数据的处理流程主要可以概括为四步：采集、预处理、统计和分析、挖掘与呈现。 （1）采集大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库进行简单的查询和处理工作。例如，电商会使用传统的关系型数据库 MySQL 和Oracle 等存储每一笔事务数据。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，如火车票售票网站和淘宝网站，它们并发的访问量在峰值时可达到百万级，所以需要在采集端部署大量数据库才能支撑。如何在这些数据库之间进行负载均衡和分片需要深入思考和设计。 （2）预处理虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群，并且在导入基础上做一些简单的预处理工作。 0 03知识学习 3. 大数据的采集与分析方法 （3）统计和分析大数据的统计和分析主要是利用分布式数据库或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。大数据分析的主要特点和挑战是分析涉及的数据量大，其对系统资源占用大。 （4）挖掘与呈现数据挖掘主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，实现一些高级别数据分析的需求。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。