
本文共 3108 字,大约阅读时间需要 10 分钟。
HBase1.2.6集群搭建
搭建环境
Ubuntu 16.04
HBase是基于Hadoop的,Hadoop的搭建可以看我的前一篇文章,有详细的介绍 http://blog.csdn.net/tft3640/article/details/78971668
1、 Hadoop搭建
a) 配置固定IP
i. 192.168.1.10 master.ubuntu.com master
ii. 192.168.1.11 slave1.ubuntu.com slave1
iii. 192.168.1.12 slave2.ubuntu.com slave2
iv. 192.168.1.13 slave3.ubuntu.com slave3
注:注释掉127.0.1.1这一行。
b) Hadoop集群监控相关端口
服务 | Web接口 | 默认端口 |
NameNode | http://namenode_host:port/ | 50070 |
ResourceManager | http://resourcemanager_host:port | 8088 |
MapReduce JobHistory Server | http://jobhistoryserver_host:port/ | 19888 |
2、 配置Zookeeper
a) 下载压缩包
b) 当前稳定版为3.4.10,下载,并解压至/usr/local/下(tar -zxf zookeeper-3.4.10.tar.gz-C /usr/local/)
复制到每个集群节点相同的路径下。
c) 配置环境变量,在/etc/profile文件中增加
export ZK_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZK_HOME/bin
d) 配置文件zoo.cfg
i. 在$ZK_HOME/conf中,复制zoo_sample.cfg到zoo.cfg
ii. 在zoo.cfg中添加
dataDir=/usr/lib/zookeeper #原文件中已有 这个坑了我两天。。
clientPort=2181 #原文件中已有
tickTime=2000 #原文件中已有
initLimit=5 #原文件中已有
syncLimit=2 #原文件中已有
dataLogDir=/var/log/zookeeper
server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3=slave3:2888:3888
1. dataDir:存储内存中数据库快照的位置(需要先手动建立对应目录)
2. dataLogDir:事物日志写入指定的目录中(需要先手动建立对应目录)
3. clientPort:监听客户端连接的端口
4. tickTime:基本事件单元 ,以毫秒为单位。它用来控制心跳和超时,默认情况下最小的会话超时时间为两倍的tickTime
5. initLimit:允许follower(相对于leader而言的“客户端”)连接并同步到leader的初始化连接时间,它是以tickTime的倍数来表示。当初始化连接时间超过设置倍数的tickTime时,则连接失败。
6. syncLimit:leader与follower之间发送消息时,请求和应答的时间长度。如果follower在设置的时间内不能与leader通信,那么此follower将被丢弃。
7. server.x=[hostname]:[port1]:[port2]:其中x是一个数字,表示这个是第几号服务器,与myid(下面会有myid的配置)文件中的id是一致的;右边可以配置两个端口,第1个端口用于follower和leader之间的数据同步和其他通信,第2个端口用于leader选举过程中投票通信。
e) 配置myid文件。
在master、slave1、slave2、slave3的/usr/lib/zooKeeper目录(注意这个目录是dataDir目录)新建文件myid,内容分别为数值0,1,2,3
f) 启动/关闭ZooKeeper集群及状态查看(如果是启动和关闭命令,则在所有安装ZooKeeper服务的节点都需要执行)
cd $ZK_HOME
bin/zkServer.sh start|stop|status
g) 注意防火墙,需要打开2181、2888、3888端口。
3、 配置HBase
a) 下载HBase,,本文使用的版本是1.2.6
b) sudo tar -zxvfhbase-1.2.6-bin.tar.gz -C /usr/local/,将HBase解压
c) 配置环境变量,增加:
export HBASE_HOME=/usr/local/hbase-1.2.6
export PATH=$PATH:$HBASE_HOME/bin
d) 进行$HBASE_HOME/conf,修改hbase-site.xml文件
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:8020/hbase</value>
</property>
<property>
<name>hbase.master</name>
<value>master</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.ZooKeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.ZooKeeper.quorum</name>
<value>master,slave1,slave2,slav3</value>
</property>
<property>
<name>ZooKeeper.session.timeout</name>
<value>60000000</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
</configuration>
e) 配置hbase-evn.sh
export JAVA_HOME=/usr/local/jdk1.8.0_151
export HBASE_CLASSPATH=/usr/local/hbase-1.2.6/etc/Hadoop
export HBASE_MANAGES_ZK=false
f) 配置regionservers
slave1
slave2
slave3
g) 运行HBase
$HBASE_HOME/bin/start-hbase.sh 开启
$HBASE_HOME/bin/stop-hbase.sh 关闭
注:先开启hadoop在master节点上使用bashstart-all.sh,再在每个节点上开启zookeeper,使用zkServer.sh start,最后开启HBase。
h) 访问地址进入HBase监控页面。
发表评论
最新留言
关于作者
