第6章 Hadoop2.0新特性-【千锋教育】Hadoop大数据开发实战（慕课版）

第6章 Hadoop2.0新特性 Hadoop2.0的改进 YARN资源管理框架 Hadoop的HA模式 1 Hadoop2.0的改进 YARN资源管理框架 Hadoop的HA模式 01 02 03 目 录 CATALOUGUE 初心至善 匠心育人 熟悉Hadoop2.0改进与提升 理解Hadoop的HA模式 理解YARN架构的原理 理解YARN架构的优势 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 6.1 Hadoop2.0的改进 6.1.1 HDFS存在的问题 6.1.2 MapReduce存在的问题 6.1.3 HDFS2.0解决HDFS1.0中的问题 初心至善 匠心育人 6.1 Hadoop2.0的改进 Hadoop1.0由MapReduce和HDFS组成，在高可用、扩展性方面存在的问题。Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成。如下图所示。 初心至善 匠心育人 6.1 Hadoop2.0的改进 （1）NameNode单点故障，难以应用于在线场景。 （2）NameNode压力过大，且内存受限，影响系统扩展性。 6.1.1 HDFS存在的问题 初心至善 匠心育人 6.1 Hadoop2.0的改进 （1）JobTracker单点故障。 （2）JobTracker访问压力大，影响系统扩展性。 （3）难以支持除MapReduce之外的计算框架，如Spark、Storm、Tez等。 6.1.2 MapReduce存在的问题 初心至善 匠心育人 6.1 Hadoop2.0的改进 （1）解决单点故障。HDFS HA有两个NameNode，如果活跃NameNode发生故障，则切换到备用NameNode。 （2）解决内存受限问题。HDFS Federation(联邦）水平扩展支持多个NameNode，每个NameNode分管一部分目录，所有NameNode共享所有DataNode存储资源。 （3）仅是架构上发生了变化，使用方式不变，对HDFS使用者透明。 6.1.3 HDFS 2.0解决HDFS1.0中的问题 初心至善 匠心育人 6.2 YARN资源管理框架 6.2.1 YARN简介 6.2.2 YARN架构 6.2.3 YARN的优势 初心至善 匠心育人 9 6.2 YARN资源管理框架 YARN是基于MapReduce的作业调度与集群资源管理的框架。YARN主要由ResourceManager（资源管理器）、NodeManager（节点管理器）、ApplicationMaster（应用程序管理器）和Container （容器）四个组件构成。 YARN允许开发者根据需求在集群中运行不同版本的MapReduce，获取更为便捷的服务。 6.2.1 YARN简介 初心至善 匠心育人 6.2 YARN资源管理框架 YARN总体上是主从（Master/Slave）结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave。ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster。ApplicationMaster负责向ResourceManager申请资源。不同的ApplicationMaster被分布到不同的节点上，它们之间不会相互影响。 6.2.2 YARN架构 、 初心至善 匠心育人 6.2 Yarn资源管理框架 YARN架构如下图所示。 6.2.2 YARN架构 初心至善 匠心育人 6.2 YARN资源管理框架 1.YARN主要组件的作用 YARN架构中4个主要组件的作用如下。 （1）ResourceManager负责接收客户端的任务请求，接收和监控NodeManager的资源分配与调度，启动和监控ApplicationMaster。 （2）NodeManager负责节点上的资源管理，启动Container运行任务，上报节点资源使用情况、Container运行情况给ApplicationMaster。 （3）ApplicationMaster负责单个应用作业的任务管理和调度，向ResourceManager申请资源，向NodeManager发出启动Container的指令，接收NodeManager的任务处理状态信息。 6.2.2 YARN架构 初心至善 匠心育人 6.2 YARN资源管理框架 （4）Container是YARN中的资源抽象，主要负责对任务运行环境的抽象，描述一系列信息：任务运行资源（节点、内存、CPU）、任务启动命令和任务运行环境。YARN会为每个任务分配一个Contain