本文共 1701 字，大约阅读时间需要 5 分钟。

我们在hadoop集群一般需要在工作台查看日志，但是工作台查看日志一般会出现以下情况：

上面的原因是由于yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下：

一、在yarn-site.xml文件中添加日志监控支持

该配置中添加下面的配置：

           
                   
    
     yarn.log-aggregation-enable
                    
    
     true
            
            
           
                   
    
     yarn.log-aggregation.retain-seconds
                     
    
     640800
            
           
                   
    
     yarn.log.server.url
                    
    
     http://master:19888/jobhistory/logs/
            
           
           
                   
    
     yarn.nodemanager.remote-app-log-dir
                    
    
     /usr/container/logs
            
             
                   
    
     yarn.nodemanager.resource.memory-mb
                    
    
     4096
            
            
                   
    
     yarn.scheduler.minimum-allocation-mb
                    
    
     2048
            
           
                   
    
     yarn.scheduler.maximum-allocation-mb
                    
    
     4096
            
           
                   
    
     yarn.nodemanager.vmem-pmem-ratio
                    
    
     5
            
   

二、在mapred-site.xml文件中添加日志服务的配置

该配置文件中添加如下配置：若是有了的话，无需再次添加

       
        
    
     mapreduce.framework.name
        
    
     yarn
    
   
     
        
    
     mapreduce.jobhistory.address
        
    
     master:10020
    
   
       
    
     mapreduce.jobhistory.webapp.address
        
    
     master:19888
    
   

三、将修改后的配置文件拷贝到集群中的其他机器(单机版hadoop可以跳过该步骤)

快捷一点可以使用 scp 命令将配置文件拷贝覆盖到其他机器

四、重新启动集群的Hdfs和Yarn服务

./start-all.sh

五、 开启日志监控服务进程

在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令，执行完成后使用jps命令查看是否启动成功，若启动成功则会显示出JobHistoryServer服务 

转载地址：https://blog.csdn.net/JohneyWu/article/details/81673955 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！