本文共 2771 字，大约阅读时间需要 9 分钟。

Hadoop集群搭建

Hadoop运行模式:本地模式、伪分布式模式、完全分布式 模式（重点）

虚拟机创建使用过程中遇到的一些问题：

1.Xshelll连接不上虚拟机

Could not connect to ‘192.168.230.128’ (port 22): Connection failed.

尝试

1)ping不通（连接超时）

2)ssh安全框架检查，已启用

解决方法：编辑-虚拟网络编辑器-更改设置-还原默认，登录虚拟机，ifconfig，可以看到虚拟机ip已经更新，

Xshell重新设置虚拟机ip重新连接

2.黑屏问题

注意事项

1)从VM11开始就不再支持32位系统了，所以32位系统用户和XP系统用户请使用10.0.7版本；

2)从VM14开始，对硬件要求进一步提高，所以低配电脑用户请使用12.5.9版本；

3)关于VM14黑屏问题，这是VMwaretools版本过低引起的。

情况：

安装的是VmWare Workstation 12，会出现繁忙，资源占用等问题，即开机开不了，关机关不掉，产生黑屏，

ctrl+alt+delete，启用任务管理器强制退出后，任然有虚拟机后台运行，虚拟机文件删不掉，重启，得以关闭。

处理：

出现此类情况，类似VM14注意事项描述VMwaretools版本过低引起的，考虑安装VmWare Workstation 15，

安装后用的很流畅，未出现上述问题

1、改主机名

vi /etc/sysconfig/network 2、修改IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 前两条加#号的部分，将动态ip设置为静态ip 3、修改主机名和IP的映射关系 vi /etc/hosts 4、虚拟网卡修改 vi /etc/udev/rules.d/70-persistent-net.rules 5、关闭防火墙 service iptables stop service iptables status 查看防火墙当前状态 6、永久关闭防火墙 chkconfig iptables off 7、上传JDK和Hadoop的tar包 方式一：点击xshell的新建文件传输 方式二：rz（yum -y install lrzsz） 先yum -y install lrzsz安装lrzsz用于Windows->Linux文件传输 后指定路径下rz上传相关文件 8、安装JDK（目标路径已存在） tar -zxvf jdk-8u161-linux-x64.tar.gz -C /yc /yc根目录下mkdir yc 9、安装Hadoop tar -zxvf hadoop-2.7.2.tar.gz -C /yc 10、添加环境变量 vi /etc/profile

export JAVA_HOME=/yc/jdk1.8export HADOOP_HOME=/yc/hadoopexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile刷新环境变量配置 11、配置Hadoop 1）hadoop-env.sh 2）core-site.xml

    
     
     
      fs.defaultFS
      
     
      hdfs://node01:9000
     
     
     
     
      hadoop.tmp.dir
      
     
      /home/hadoop/tmp
      
     
   

node01是一号主机名

/home/hadoop/tmp缓存路径 3）hdfs-site.xml

    
     
     
      dfs.replication
     
     
      3
      
    
     
     
      dfs.secondary.http.address
      
     
      192.168.255.129:50090
      
     
   

192.168.255.129一号机ip

4)mv mapred-site.xml.template mapred-site.xml

    
     
     
      mapreduce.framework.name
      
     
      yarn
      
    
   

5）yarn-site.xml

    
     
     
      yarn.resourcemanager.hostname
      
     
      node01
     
     
    
     
      yarn.nodemanager.aux-services
      
     
      mapreduce_shuffle
     
     
   

6)slaves

删除原有的localhost

node01 node02 node03

12、克隆2号、3号机

13、修改2号、3号机主机名和ip地址 vi /etc/sysconfig/network 将对应的主机名改为node02和node03 vi /etc/sysconfig/network-scripts/ifcfg-eth0 将对应的ip地址给为 192.168.255.130 192.168.255.131 14、重启2、3号使主机名生效 reboot 15、配置ssh免登陆 1）ssh-keygen -t rsa 五步回车键（全按回车） 2）ssh-copy-id node01 3）ssh-copy-id node02、ssh-copy-id node03 同上 在一号机完成 16、格式化namenode hdfs namenode -format（或hadoop namenode -format） 17、启动验证集群 启动后注意进程数对应 1）start-dfs.sh 2416 SecondaryNameNode 2592 Jps 2182 NameNode 2280 DataNode

2)start-yarn.sh

2416 SecondaryNameNode 2641 ResourceManager 2182 NameNode 2280 DataNode 2952 Jps 2746 NodeManager

3)查看web界面

三台10G虚拟机搭建好后有24.75GB 若只有1/3，二三号机没连上 若2/3，二三号其一没连上

转载地址：https://blog.csdn.net/weixin_45417428/article/details/106813428 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！