Bigdata hadoop-install

发布日期：2021-05-14 13:45:06 浏览次数：26 分类：精选文章

本文共 2132 字，大约阅读时间需要 7 分钟。

Hadoop 安装指南

环境配置

系统环境

操作系统: CentOS 6.5

Java DEVELOPER KIT (JDK): 1.8

Hadoop 版本: 2.6.5

网络设置

设置静态 IP:

查看虚拟机的网络设置，确认IP地址。

使用 vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改网络配置文件，设置静态IP地址。

示例配置：

DEVICE=eth0
IPADDR=192.168.150.11
NETMASK=255.255.255.0
GATEWAY=192.168.150.2
DNS1=223.5.5.5
DNS2=114.114.114.114

设置主机名:

修改 /etc/sysconfig/network 文件，设置主机名。

示例命令：

vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01

IP 到主机名的映射:

修改 /etc/hosts 文件，添加IP到主机名的对应关系。

示例：

vi /etc/hosts
192.168.150.11 node01
192.168.150.12 node02

关闭防火墙:

使用以下命令关闭防火墙：

service iptables stop
chkconfig iptables off

关闭 SELINUX:

修改 /etc/selinux/config 文件：
```
vi /etc/selinux/config
SELINUX=disabled
```

时间同步:

安装 NTP 并配置：

yum install ntp -y
vi /etc/ntp.conf
server ntp1.aliyun.com
service ntpd start
chkconfig ntpd on

Java 开发环境配置

安装 JDK:

使用以下命令安装 JDK：
```
rpm -i jdk-8u181-linux-x64.rpm
```

配置环境变量:

修改 /etc/profile 文件：

vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

加载配置文件:

重新加载配置：
```
source /etc/profile
```

SSH 免密登录

配置 SSH 密钥：
- 生成密钥对：
```
ssh-keygen -t rsa -b 4096
```
- 将公钥添加到远程服务器的 ~/.ssh/authorized_keys 文件中。

Hadoop 配置

部署目录

创建 Hadoop 部署目录：

mkdir /opt/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata/hadoop-2.6.5

配置 Hadoop

配置环境变量:

修改 /etc/profile 文件：

vi /etc/profile
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

配置 Hadoop 的核心配置文件:

修改 /etc/hadoop/conf/hadoop-env.sh：

export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改 /etc/hadoop/conf/hadoop.xml：


      
  
       
    
        
         dfs.name节点名
        
    
        
         node01:8020
        
  
       
  
       
    
        
         dfs.data节点名
        
    
        
         node02:8020

Hadoop 服务配置

启动 Hadoop 服务:

格式化分区服务器：
```
hadoop-daemon.sh start dfs namenode
```

启动数据节点：
```
hadoop-daemon.sh start dfs datanode
```

访问 Hadoop 集群:

使用浏览器访问集群管理界面：
```
http://node01:8088
```

注意事项

日志管理:

默认日志目录为 /var/log/hadoop，可根据需要配置日志存储路径。

监控和管理:

使用工具如 jps 监控 Java 进程。

配置监控系统（如 Nagios 或 Zabbix）监控 Hadoop 集群状态。

通过以上步骤，您可以成功配置并运行 Hadoop 集群。

上一篇：CSS选择器

下一篇：SpringMvc组件与注解配置

发表评论

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！