7.3大数据技术（课件）-《计算机应用基础》同步教学（电子工业出版社）

7.3大数据技术 项目任务 知识目标 学习目标 任务6：了解大数据技术 任务7：大数据技术的特点 任务8：典型的大数据平台—Hadoop （1）了解大数据技术基本概念、基本理论知识 （2）了解大数据技术的特点 （2）了解主要典型的大数据平台-Hadoop 任务分析 任务完成 任务描述 Part 2 Part 3 Part 1 任务6 了解大数据技术 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 本任务学习大数据技术的基本概念。 任务描述 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 1．大数据定义 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。 2．大数据与云计算的关系 3．大数据的应用 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 3．大数据的应用案例 任务分析 任务完成 任务描述 Part 2 Part 3 Part 1 任务７ 大数据技术的特点 大数据就是互联网发展到现今阶段的一种表象或特征而已，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。本任务了解大数据技术的特点。 任务描述 1．大数据结构 大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4 V来概括大数据的特征，4V即：数量（Volume）；多样性（Variety）；速度（Velocity）；价值（Value） 2．大数据的特征 （1）趋势一：数据的资源化。 （2）趋势二：与云计算的深度结合。 （3）趋势三：科学理论的突破。 （4）趋势四：数据科学和数据联盟的成立。 （5）趋势五：数据的安全保障。 （6）趋势六：数据管理成为核心竞争力。 （6）趋势七：数据质量是BI（商业智能）成功的关键。 （7）趋势八：数据生态系统复合化程度加强。 3．大数据的发展趋势 任务分析 任务完成 任务描述 Part 2 Part 3 Part 1 任务８ 典型的大数据平台—Hadoop 本任务了解典型的大数据平台Hadoop的特点。 任务描述 Hadoop采用Java语言开发，是对Google的MapReduce、GFS（GoogleFileSystem）和Bigtable等核心技术的开源实现，由Apache基金会支持，是以Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）和MapReduce（GoogleMapReduce）为核心，以及一些支持Hadoop的其他子项目的通用工具组成的分布式计算机系统。主要用于海量数据高效的存储、管理和分析。 Hadoop简要介绍 HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。 Hadoop有以下特点 MapReduce是一种编程模型，用于大规模数据集的并行运算。Map（映射）和Reduce（化简），采用分而治之思想，先把任务分发到集群多个节点上，并行计算，然后再把计算结果合并，从而得到最终计算结果。多节点计算，所涉及的任务调度、负载均衡、容错处理等，都由MapReduce框架完成，不需要编程人员关心这些内容。 （1）成本低 （2）可靠性高 （3）效率高 （4）适用大数据文件。 Hadoop有以下特点 $$