本文共 3235 字，大约阅读时间需要 10 分钟。

Yarn资源管理框架详解

Yarn是一款开源的应用资源管理框架，广泛应用于大数据作业的资源调度和分配。它通过 ResourceManager、NodeManager 和 ApplicationMaster 等组件，构建了一个高效的集群资源管理系统。本文将从多个维度详细探讨 Yarn 的架构、安装配置及工作原理。

Yarn的构成

Yarn 的核心组件包括 ResourceManager（ResourceManager）、NodeManager（NodeManager）和 Container（容器）。此外，ApplicationMaster（ApplicationMaster，简称 AM）也在其中发挥重要作用。

• ResourceManager（RM）

  RM 负责管理整个集群的资源分配，内置了调度器（Scheduler）。它接收来自客户端（ApplicationMaster）的资源请求，并根据集群资源情况，将任务分配到适当的节点上。

• NodeManager（NM）

  每台工作节点的资源管理者，负责启动和监控 Container 的运行状态。NM 提交Container 使用情况统计，并定期汇报给 ResourceManager，并从 ResourceManager 获得新的任务启动指令。

• ApplicationMaster（AM）

  AM 是用户提交任务的入口点，与 ResourceManager 协商资源，同时与各个 NodeManager 建立通信，监督任务的执行进度。

• Container

  Container 是集群上可用资源的体现，包括 CPU、内存、存储和网络等资源。每个 Container 映射到一个物理或虚拟资源chunk，运行用户提交的任务。

Yarn的安装与配置

安装 Yarn 可能需要结合 Hadoop 的其他组件，因此需要针对性地配置相关配置文件。

• 配置文件解读

  • mapred-site.xml

    主要配置如下：

             
      
            
             mapreduce.framework.name
              
      
            
             yarn
              
             
             
      
            
             mapreduce.jobhistory.address
              
      
            
             my pc01:10020
              
             
             
      
            
             mapreduce.jobhistory.webapp.address
              
      
            
             my pc01:19888
              
           

  • yarn-site.xml

    ResourceManager 所在主机及其他关键配置：

             
      
            
             yarn.resourcemanager.hostname
              
      
            
             my pc01
              
             
             
      
            
             yarn.nodemanager.aux-services
              
      
            
             mapreduce_shuffle
              
             
             
      
            
             yarn.nodemanager.aux-services.mapreduce_shuffle.class
              
      
            
             org.apache.hadoop.mapred.ShuffleHandler
              
             
             
      
            
             yarn.resourcemanager.scheduler.address
              
      
            
             my pc01:8030
              
             
             
      
            
             yarn.resourcemanager.resource-tracker.address
              
      
            
             my pc01:8031
              
             
             
      
            
             yarn.resourcemanager.address
              
      
            
             my pc01:8032
              
             
             
      
            
             yarn.resourcemanager.admin.address
              
      
            
             my pc01:8033
              
             
             
      
            
             yarn.resourcemanager.webapp.address
              
      
            
             my pc01:8088
              
           

• 命令执行

  starting 命令：

  start-yarn.sh

• 日志查看

  日志路径：

  /usr/local/hadoop/logs

  进程查看示例：

  [root@mypc01 hadoop]# jps  
  3045 DataNode 3909 Jps 2950 NameNode 3388 ResourceManager 3485 NodeManager

Yarn调度器

调度器是资源分配的核心模块，决定集群如何分配资源给容器。Yarn 提供三种调度器：

调度器选择地址：

# 修改yarn-site.xml  
     
  
    
     yarn.resourcemanager.scheduler.class
      
  
    
     org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
      
   

Yarn命令行

使用命令行工具进行操作：

[root@mypc01 hadoop]# which yarn  
/usr/local/hadoop/bin/yarn

命令用途示例：

• 查看帮助：

  yarn -h

• 运行 ResourceManager：

  yarn resourcemanager

任务提交流程

通过以上步骤，Yarn 实现了对集群资源的高效管理与任务的平稳运行。