本文共 2799 字，大约阅读时间需要 9 分钟。

1.HDFS安装

1.配置hdfs的NameNode（core-site.xml)

vi hadoop-2.7.2/etc/hadoop/core-site.xml

   
    
     
      fs.defaultFS
         
     
      hdfs://kafka1:9000
     
     
      配置NameNode的URL
     
    
    
            
     
      hadoop.tmp.dir
             
     
      /root/ysw/hadoop/hadoop-2.7.2/data/tmp
     
    
   

2.配置HDFS路径（hdfs-site.xml）

vi hadoop-2.7.2/etc/hadoop/hdfs-site.xml

   
    
            
     
      dfs.replication
             
     
      1
     
    
      
     
      dfs.namenode.name.dir
       
     
      /root/ysw/hadoop/hadoop-2.7.2/data/namenode
       
     
      NameNode存储名称空间和事务日志的本地文件系统上的路径
     
    
      
     
      dfs.datanode.data.dir
       
     
      /root/ysw/hadoop/hadoop-2.7.2/data/datanode
       
     
      DataNode存储名称空间和事务日志的本地文件系统上的路径
     
    
   

3.启动HDFS

（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

bin/hdfs namenode -format

（b）启动NameNode

sbin/hadoop-daemon.sh start namenode

（c）启动DataNode

sbin/hadoop-daemon.sh start datanode

查看是否启动成功

jps

4.web端查看HDFS文件系统

http://kafka1:50070/dfshealth.html#tab-overview

5.操作hdfs

1.在HDFS文件系统上创建一个文件夹命名为input

bin/hdfs dfs -mkdir -p /user/ysw/input

2.将测试文件内容上传到文件系统上 现在本地任意位置新建文件

vi b.txt

写入如下内容：

hello hdfshello hdfshello hdfshello hdfshello hdfshello hdfs

将b.txt文件内容上传到HDFS文件系统上

bin/hdfs dfs -put input/hdfs/b.txt /user/ysw/input/

在页面上查上传到hdfs文件 使用命令查上传到hdfs文件

bin/hdfs dfs -ls  /user/ysw/input/bin/hdfs dfs -cat  /user/ysw/ input/b.txt

2.YARN安装

1.配置yarn-env.sh

配置一下JAVA_HOME， 如果已经配置了环境的JAVA_HOME这里可以不配置

2.配置yarn-site.xml

vi etc/hadoop/yarn-site.xml

   
    
      
     
      yarn.nodemanager.aux-services
       
     
      mapreduce_shuffle
     
    
      
     
      yarn.scheduler.minimum-allocation-mb
       
     
      512
       
     
      为每个容器请求分配的最小内存限制资源管理器（512M）
     
    
      
     
      yarn.scheduler.maximum-allocation-mb
       
     
      4096
       
     
      为每个容器请求分配的最大内存限制资源管理器（4G）
     
    
      
     
      yarn.nodemanager.vmem-pmem-ratio
       
     
      4
       
     
      虚拟内存比例，默认为2.1，此处设置为4倍
     
    
    
    
     
      yarn.resourcemanager.hostname
     
     
      kafka1
     
    
   

3.启动yarn

（a）启动前必须保证NameNode和DataNode已经启动

（b）启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

（c）启动NodeManager

sbin/yarn-daemon.sh start nodemanager

（a）YARN的浏览器页面查看

http://kafka1:8088/cluster

3.MapReduce程序在YARN模式运行

1.配置集群在YARN上运行MR

配置：mapred-env.sh

配置一下JAVA_HOME， 如果已经配置了环境的JAVA_HOME这里可以不配置

配置mapres的运行模式为yarn

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xmlvi etc/hadoop/mapred-site.xml

   
      
     
      mapreduce.framework.name
       
     
      yarn
       
     
      执行MapReduce的方式：yarn/local
     
    
   

2.MapReduce程序在YARN模式运行

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/ysw/input/b.txt /user/ysw/output

3.yarn 查看结果

转载地址：https://blog.csdn.net/yangshengwei230612/article/details/116496150 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！