本文共 3763 字，大约阅读时间需要 12 分钟。

MapReduce程序自动化执行

前言：

上篇博文开发了第一个MapReduce程序，但是，我们可以发现，MapReduce程序的执行，非常麻烦，首先需要Package，然后再通过Xftp工具将jar包上传到unix服务器，再在服务器上通过Shell命名执行如下命令

yarn jar hadoop-wordcount-1.0-SNAPSHOT.jar com.sun.wordcount.WordCountJob

才能完成一次MapReduce程序的执行！可以想象这个执行是多么的麻烦。那么本次博文就是介绍如何自动化的执行的Job工作。

一、配置Main-Class（不必再指定job类的包名）

每次Shell命令执行MapReduce程序的时候，不但要指定jar包的位置，而且要指定Job类的包名

yarn jar hadoop-wordcount-1.0-SNAPSHOT.jar com.sun.wordcount.WordCountJob

那么能否不用指定包名呢？答案是可以的，只需要在pom中进行如下配置即可

           
                
                     
      
       org.apache.maven.plugins
                      
      
       maven-jar-plugin
                       
                       
       
        ${basedir}/target
                         
                            
         
         
          com.sun.wordcount.WordCountJob
          
                         
                       
                  
             
    
   

然后，在Shell中只需要执行如下命令就可以执行Job工作了

yarn jar hadoop-wordcount-1.0-SNAPSHOT.jar

二、自动上传Jar包

在上一步的基础上，只需要在pom中进行如下配置即可

           
            
                
                     
      
       org.apache.maven.wagon
                      
      
       wagon-ssh
                      
      
       2.8
                  
             
            
                
                   
      
       org.apache.maven.plugins
                    
      
       maven-jar-plugin
                    
                        
       
        ${basedir}/target
                         
                           
         
         
          com.sun.wordcount.WordCountJob
          
                          
                     
                  
                 
                 
                     
      
       org.codehaus.mojo
                      
      
       wagon-maven-plugin
                      
      
       1.0
                      
                      
                          
       
        target/${project.build.finalName}.jar
                           
                           
       
        scp://root:123@192.168.23.134:/root/hadoop/wordcount/code
                       
                  
             
        
   

然后再执行Job工作，只需要先点击Package，再点击wagon:upload-single即可完成jar的自动上传

yarn jar hadoop-wordcount-1.0-SNAPSHOT.jar

三、自动执行Shell命令

上面的两步操作完成了Jar的自动上传，但我们还是需要去Shell命令窗口执行命令，再加上下面的配置就可以完成Shell命令的自动执行

           
            
                
                     
      
       org.apache.maven.wagon
                      
      
       wagon-ssh
                      
      
       2.8
                  
             
            
                
                     
      
       org.apache.maven.plugins
                  
      
       maven-jar-plugin
                  
                      
       
        ${basedir}/target
                       
                           
         
         
          com.sun.wordcount.WordCountJob
          
                        
                   
              
                 
                 
                     
      
       org.codehaus.mojo
                      
      
       wagon-maven-plugin
                      
      
       1.0
                      
                      
                          
       
        target/${project.build.finalName}.jar
                           
                           
       
        scp://root:123@192.168.23.134:/root/hadoop/wordcount/code
                           
                           
                               
                                
        nohup /root/hadoop/hadoop-2.9.2/bin/yarn jar /root/hadoop/wordcount/code/${project.build.finalName}.jar > /root/hadoop/wordcount/code/mapreduce.out 2>&1 &                    
                       
                  
             
        
   

上面配置完成后，我们如果执行Job作业，只需要以下三步即可

四、一键执行MapReduce程序

上面步骤配置完成，我们还需要每次都分别点击三个按钮才能执行一次Job作业，那么能一键Run呢？答案是可以的，我们安装Maven helper插件，这个插件可以一次性执行多个操作

转载地址：https://blog.csdn.net/qq_34720818/article/details/107005962 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！