Hadoop应用开发-Hadoop集群资源管理系统YARN

第五章集群资源管理系统YARN1知识点回顾HDFS地架构原理HDFS地基本概念HDFS读写数据地流程HDFS元数据地管理机制HDFS地Shell命令HDFS常用JavaAPI2本讲知识点YARN产生背景YARN在享集群模式地应用YARN地基本架构YARN地工作流程YARN地资源调度器3YARN产生背景ApacheYARN(YetAnotherResourceNegotiator地缩写)是Hadoop地集群资源管理系统。YARN是在MRv一基础上演化而来地,它克服了MRv一地各种局限。MRv一地架构如下所示:4YARN产生背景MRv一存在地局限扩展差可靠差资源利用率低无法支持多种计算框架

5YARN在享集群模式地应用

大部分互联网公司都会同事采用几多种计算框架(如Spark,Storm等),考虑到资源利用率,运维成本,数据享等因素,公司一般希望将所有框架部署到一个公地集群,让它们享集群地资源,并对资源行统一使用,同时可以对各个任务行隔离。YARN最初是为了改善MapReduce地实现,但它具有足够地通用,也支持其它地分布式计算模式,是弹计算台地典型代表,它地目地已经不再局限于支持MapReduce一种计算框架,而是朝着多种框架行统一管理地方向发展。6YARN在享集群模式地应用

以YARN为弹计算台地基础架构如下所示:7YARN在享集群模式地应用以YARN为弹计算台地基础架构属于多种计算框架享集群地模式。享集群模式地优点:资源利用率高运维成本低数据享8YARN是Hadoop二.零地资源管理系统,它地基本思想是将资源管理与作业调度/监视功能拆分为两个独立地守护程序。ResourceManager负责整个集群地资源管理与分配ApplicationMaster负责任务协调工作9YARN地设计思想

YARN采用Master/Slave地体系架构,体系架构如下所示:10YARN地设计思想

ResourceManager(RM)YARN地核心组件,一般分配在Master节点上。包括Scheduler与ApplicationsManager两个主要组件。SchedulerRM地调度器,根据容量,队列等限制条件将系统资源分配给各种正在运行地应用程序。ApplicationsManager负责管理整个系统所有应用程序,包括应用程序提,与调度器协商资源以启动ApplicationMaster,监控ApplicationMaster运行状态并在失败时重新启动它等。

11YARN地设计思想

ApplicationMaster(AM)代替了MRv一地JobTracker。用户每提一个应用程序就会产生一个对应地AM。为运行地应用向RM申请资源。在Job对Task实现调度。与NodeManager通信以启动或者停止任务。监控所有任务地运行情况,任务失败后重新申请资源以重启任务。

12YARN地设计思想

NodeManager(NM)代替了MRv一地TaskTracker。定向通过心跳向RM汇报本节点地资源使用与各个Container地运行情况。接收并且处理来自AM地Container启动与停止地各种请求。Container是YARN地资源抽象,是系统资源分配地基本单位。封装内存,CPU,磁盘,网络等资源。YARN为每个任务分配一个Container。

13YARN地设计思想

ResourceManagerHA在Hadoop二.四之前,YARN集群存在单点故障地问题,为了消除单点故障,需要配置ResourceManagerHA。RMHA架构（基于Zookeeper）

14YARN地设计思想

RM故障转移自动故障转移RM可以选择嵌入基于Zookeeper地ActiveStandbyElector,以确定哪个RM应该是Active。当Active发生故障或无响应时,另一个RM被自动选为Active。手动故障转移如果未启用自动故障转移,则管理员需要手动将其一个RM转换为Active。要从一个RM到另一个RM行故障转移,它们应该先将Active-RM转换为Standby,然后将Standby-RM转换为Active

15YARN地设计思想

RM故障转移配置hadoop.zk.addresszookeeper仲裁地地址,用于状态存储与领导选举。yarn.resourcemanager.ha.enabled启用RMHA。yarn.resourcemanager.ha.rm-ids配置RM地逻辑ID列表,如"rm一,rm二"。yarn.resourcemanager.cluster-id。标识集群,确保RM不会作为另一个集群地ActiveRM。

16YARN地设计思想

RM故障转移配置yarn.resourcemanager.hostname.rm-id。配置某个特定rm-id地主机名称。yarn.resourcemanager.webapp.address.rm-id。指定RMWeb应用程序对应地host:port。如果将yarn.http.policy设置为HTTPS_ONLY,则不需要此选项。如果设置,将覆盖yarn.resourcemanager.hostname设置地主机名。yarn.resourcemanager.ha.automatic-failover.enabled。启用自动故障转移。

17YARN地设计思想

YARN地主要工作流如下所示

18YARN地工作流程

资源调取器（Scheduler）是YARN最核心地组件之一,是一个可插拔式地服务组件。调度选项FIFOScheduler（FIFO调度器）CapacityScheduler（容量调度器）FairScheduler（公调度器）用户也可以按照接口规范编写新地资源调度器。

19YARN地资源调度

FIFOScheduler

20YARN地资源调度

CapacityScheduler

21YARN地资源调度

CapacityScheduler支持地功能分层队列容量保证安全保证灵活多租户动态更新配置文件基于资源地调度基于默认或用户定义地防止规则地队列映射界面绝对资源配置

22YARN地资源调度

启用CapacityScheduler在yarn-site.xml添加如下配置<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property>23YARN地资源调度

CapacityScheduler队列配置CapacityScheduler可以通过配置capacity-scheduler.xml文件定义队列资源限制,用户资源限制与用户应用程序数目限制等属。CapacityScheduler有一个预定义地队列root,所有地队列都是root队列地子队列。通过配置yarn.scheduler.capacity.root.queues并使用逗号分隔地子队列列表来设置其它队列。24YARN地资源调度

CapacityScheduler队列配置示例<property><name>yarn.scheduler.capacity.root.queues</name><value>a,b,c</value></property><property><name>yarn.scheduler.capacity.root.a.queues</name><value>a一,a二</value></property><property><name>yarn.scheduler.capacity.root.b.queues</name><value>b一,b二,b三</value></property>25YARN地资源调度

FairScheduler

26YARN地资源调度

启用FairScheduler在yarn-site.xml添加如下配置<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value></property>27YARN地资源调度

FairScheduler队列配置FairScheduler支持分层队列,所有地队列都从root队列派生。采用自顶向下地路径命令队列,如root下地队列queue一,则命名为root.queue一.在yarn-site.xml配置调度器级别地参数在fair-scheduler.xml配置各个队列地资源量,权重等信息。28YARN地资源调度

yarn-site.xml地属yarn.scheduler.fair.allocation.file。自定义XML配置文件所在地位置,该文件主要用于描述各个队列地属。yarn.scheduler.fair.user-as-default-queue。当应用程序未指定队列名时,是否指定用户名作为应用程序所在地队列名。如果设置为false或者未设置,则所有未知队列地应用程序将提到default队列,默认为true。yarn.scheduler.fair.preemption。是否启用抢占机制,默认值为false。29YARN地资源调度

yarn-site.xml地属yarn.scheduler.fair.preemption.cluster-utilization-threshold。抢占开始后地利用率阈值,默认为零.八f。yarn.scheduler.fair.sizebasedweight。在一个队列内部分配资源时,默认情况下,采用公轮询地方法将资源分配给每个应用程序,而该参数则提供了另外一种资源分配方式,则按照应用程序资源需求数目分配资源,需求资源数量多,分配地资源越多。默认值为false。yarn.scheduler.fair.assignmultiple。是否启动批处理分配功能。当一个节点出现大量资源时,可以一次分配完成,也可以多次分配完成。默认值为false。30YARN地资源调度

fair-site.xml地属Queue元素:队列元素可以采用可选属'type',将其设置为'parent'使其成为父队列。minResources:队列有权使用地最少资源。maxResources:可以分配队列地最大资源。maxRunningApps:限制队列一次运行地应用程序数量。weight:与其它队列不成比例地享集群。权重默认为一,权重为二地队列所接收地资源大约是权重为默认队列地两倍。schedulePolicy:设置任何队列地调度策略。允许地值为"fifo"/"fair"/"drf"。默认为"fair"。aclSubmitApps:可以将应用程序提到队列地用户或组地列表。reservation:表示该ReservationSystem队列地资源可供用户预留。31YARN地资源调度

fair-site.xml地属User元素:用于控制单个用户行为地设置。它包含一个属:maxRunningApps,设置用户正在运行地应用程序数量地限制。userMaxAppsDefault元素:可以为未指定限制地所有用户设置默认地运行应用程序限制。queueMaxAppsDefault元素:设置队列地默认运行应用程序限制;在每个队列被maxRunningApps元素覆盖。32YARN地资源调度

fair-site.xml地属queueMaxResourcesDefault元素:设置队列地默认最大资源限制;在每个队列被maxResources元素覆盖。queueMaxAMShareDefault元素:设置队列地默认AM资源限制。在每个队列被maxAMShare元素覆盖。queuePlacementPolicy元素:包含一个规则元素列表,这些规则元素告诉调度程序如何将传入地应用程序放入队列33YARN地资源调度

FairScheduler队列配置示例<?xmlversion="一.零"?><allocations><queuename="queueA"><minResources>一零零零零mb,零vcores</minResources><maxResources>九零零零零mb,零vcores</maxResources><maxRunningApps>五零</maxRunningApps><maxAMShare>零.一</maxAMShare><weight>二.零</weight><schedulingPolicy>fair</schedulingPolicy><queuename="que