信息技术拓展模块-单元十一大数据电子课件 中职 高二 高教版

大数据 Big Data POWERPOINT 单元十一 目 录 CONTENTS 01 02 03 04 大数据概述 大数据的关键技术 大数据分析处理的平台 大数据的应用 大数据概述 Overview of big data 01 任务一 大数据概述 1.大数据的概念 大数据也称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的“大”的界定范畴是动态的，从前的GB（1GB=1024 MB）就是数据类型的巨大范畴，但是大数据出现后，在物理、基因等很多领域，TB（1TB=1024GB）级的数据已经很普遍，更有PB（1PB=1024TB），甚至EB（1EB=1024PB）级也不罕见。数据的类型有很多种，其主要分为结构化数据、半结构化数据和非结构化数据。因此，数据量的不断增长及数据类型的多样化都给大数据系统的存储和计算带来了不小的挑战。 任务一 大数据概述 2.大数据的特点 （1）海量性。数据的体量决定了其背后的信息价值。随着各种移动端的流行和云存储技术的发展，现代社会的人类活动都可以被记录下来，因此产生了海量的数据。如发送的微博、自拍的照片、佩戴的运动手环等包含的数据信息通过互联网被上传到云端，各种数据被聚集到特定地点的存储系统（如政府机构等），形成了体量巨大的数据。 （2）多样性。数据多样性的增加主要是新型多结构数据，以及网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成的。 任务一 大数据概述 2.大数据的特点 （3）高速性。高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速计算机处理器和服务器创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速地处理、分析数据并将其返回给用户，以满足他们的实时需求。 （4）价值性。大数据的应用在物联网、云计算、数据挖掘等技术迅速发展的带动下呈现出它的完整过程：把数据源的信号转换为数据，再把大数据加工成信息，通过获取的信息进行决策。因此，大数据价值的挖掘过程就像大浪淘沙，数据的体量越大，相对有价值的数据就越少。大数据的价值密度实际是比较低的，因为数据采集并不都是及时的，样本的数量有限，数据不完全连续。但是，当数据的体量越来越大时，就能从海量数据中心提取有价值的信息，为决策提供支撑。 任务一 大数据概述 3.大数据的类型 大数据的关键技术 Key technologies of big data 02 任务二 大数据的关键技术 大数据关键技术可分为以下几种 任务二 大数据的关键技术 大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。 根据大数据的处理过程，可将大数据关键技术分为大数据采集技术、大数据预处理技术、大数据存储与管理技术、大数据分析与挖掘技术、大数据可视化技术等。 1.大数据采集 大数据采集技术是指通过射频识别数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。 大数据的来源 一般大数据的来源可以分为3种，即平台自营型数据、其他主体运营数据和互联网数据。 任务二 大数据的关键技术 1.大数据采集 大数据的来源 任务二 大数据的关键技术 1.大数据采集 大数据的来源 1）平台自营型数据 这种数据是指大数据项目建设单位自主运营维护的软件平台所产生的内部数据，包括软件平台生成的结构化或非结构化数据，也包括自主运营维护的传感器终端通过通信获取的数据。这些数据的采集工具都源于平台内部，多用于系统日志采集。 2）其他主体运营数据 这种数据是指存储在其他单位服务器的外部数据。这种数据的类型和格式与平台自营型数据类似，只是往往需要通过建立在某种商业模式意义下的交换获得。这类数据的采集可在商务合作的基础上通过抽取、转换、加载实现数据的交换，或者通过对方预留数据的访问接口获取数据。 任务二 大数据的关键技术 1.大数据采集 大数据的来源 3）互联网数据 这种数据是指散布于互联网中的数据，包括通信记录、QQ、微信、微博等社交媒体产生的数据，其数据复杂且难以被利用。这种数据可以通过网络爬虫实现自动获取。 大数据采集过程的主要特点和挑战是并发数高，因为同时可能会有成千上万的用户在进行访问和操作。例如，火车票售票网站和淘宝的并发访问量在峰值时可达到上百万，所以在采集端需要部署大量的数据库才能对其进行支撑，并且在这些数据库之间进行负载均衡和分片是需要进行深入的思考和设计的。 任务二 大数据的关键技术 1.大数据采集 大数据采集的方法 数据源不同，大数据的采集方法也不同。但是为了能够满足大数据采集的需要，大