
hadoop2.7+spark2.2+zookeeper3.4.简单安装
发布日期:2021-05-09 09:32:43
浏览次数:3
分类:博客文章
本文共 4060 字,大约阅读时间需要 13 分钟。
1、zookeeper的安装
##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2##安装java8
解压配置环境即可##ssh(每一台机器)
ssh-keyscan #生成密码ssh-copy-id lgh2 #复制到不同机器##创建用户
useradd -d /home/spark sparkpasswd spark##解压
tar -zxvf zookeeper-3.4.8.tar.gz -C xxx目录##创建软链接(每一台机器)
ln -s zookeeper-3.4.8 zookeeper##创建环境变量
vim ~/.bashrcexport ZOOKEEPER_HOME=/home/spark/zookeeperexport PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH##修改配置文件
cd /home/spark/zookeeper/confcp zoo_sample.cfg zoo.cfgvim zoo.cfg#配置信息如下:
tickTime=2000 #服务器与客户端之间交互的基本时间单元(ms)initLimit=10 # 此配置表示允许follower连接并同步到leader的初始化时间,它以tickTime的倍数来表示。当超过设置倍数的tickTime时间,则连接失败syncLimit=5 # Leader服务器与follower服务器之间信息同步允许的最大时间间隔,如果超过次间隔,默认follower服务器与leader服务器之间断开链接dataDir=/home/spark/zookeeper/data #保存zookeeper数据路径dataLogDir=/home//spark/zookeeper/dataLog #保存zookeeper日志路径,当此配置不存在时默认路径与dataDir一致clientPort=2181 #客户端访问zookeeper时经过服务器端时的端口号server.1=lgh:2888:3888 #表示了不同的zookeeper服务器的自身标识,作为集群的一部分,每一台服务器应该知道其他服务器的信息server.2=lgh1:2888:3888server.3=lgh2:2888:3888maxClientCnxns=60 #限制连接到zookeeper服务器客户端的数量##创建myid文件
cd /home/spark/zookeeper/datavim myid #输入1##复制到其他机器
scp -r zookeeper-3.4.8 spark@lgh1:/home/spark/scp -r zookeeper-3.4.8 spark@lgh2:/home/spark/#修改myid文件
不同机器数字不一样,分别为2和3##启动
zkServer.sh start#查看状态
zkServer.sh status#查看进程
jpsQuorumPeerMain 2、hadoop安装##解压
tar -zxvf hadoop-2.7.7.tar.gz -C xxx目录##修改vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk##修改 vim etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://lgh:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/spark/hadoop-2.7.7/tmp</value> </property></configuration>##修改vim hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hdfs/data</value> </property></configuration>#修改vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>##修改yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>##修改 vim slaves
lghlgh1lgh2 ##复制到其他机器scp -r hadoop-2.7.7/ spark@lgh1:/home/spark/scp -r hadoop-2.7.7/ spark@lgh2:/home/spark/##配置环境变量
HADOOP_HOME=/home/spark/hadoopPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin##格式化
hdfs namenode -format##启动
start-all.sh##查看进程
#主节点9616 QuorumPeerMain11264 ResourceManager10818 DataNode11061 SecondaryNameNode11751 Jps10714 NameNode11370 NodeManager#从节点
2273 QuorumPeerMain2547 NodeManager2438 DataNode2653 Jps 3、spark的安装##安装scalatar -zxvf scala-2.12.8.tgz -C /usr/local/ln -s scala-2.12.8/ scala##配置环境变量
export SCALA_HOME=/usr/local/scalaexport PATH=$SCALA_HOME/bin:$PATH##复制到其他机器并建立软链接
scp -r scala-2.12.8/ root@lgh1:/usr/local/scp -r scala-2.12.8/ root@lgh2:/usr/local/##解压spark
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C xxx目录##修改配置文件
cd /home/spark/spark-2.2.0-bin-hadoop2.7/confcp spark-env.sh.template spark-env.shvim spark-env.sh
配置信息如下:export JAVA_HOME=/usr/local/jdkexport SCALA_HOME=/usr/local/scalaexport HADOOP_HOME=/home/spark/hadoopexport HADOOP_CONF_DIR=/home/spark/hadoop/etc/hadoopexport SPARK_MASTER_IP=SparkMasterexport SPARK_WORKER_MEMORY=2gexport SPARK_WORKER_CORES=2export SPARK_WORKER_INSTANCES=1cp slaves.template slaves
vim slaves配置信息如下:lghlgh1lgh2##复制到其他节点并建立软链接
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh1:/home/spark/scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh2:/home/spark/##配置环境变量
export SPARK_HOME=/home/spark/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin##启动
cd /home/spark/spark/sbin && ./start-all.sh##jps查看主节点进程
9616 QuorumPeerMain11264 ResourceManager12704 Worker10818 DataNode12756 Jps11061 SecondaryNameNode12632 Master10714 NameNode11370 NodeManager##jps查看从节点进程
2240 DataNode2562 Worker2052 QuorumPeerMain2613 Jps
转载地址:https://www.cnblogs.com/zsql/p/10736420.html 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
第一次来,支持一个
[***.219.124.196]2023年09月27日 13时46分08秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
多分支递归(斐波那契数列)《算法很美》
2019-03-08
汉诺塔游戏《算法很美》
2019-03-08
Vue实例(3-1)
2019-03-08
Vue中的表单绑定(3-11)
2019-03-08
使用组件的细节点(4-1)
2019-03-08
组件参数校验与props特性(4-3)
2019-03-08
前端面试题总结原生js+react+vue+webpack+node+算法+计算机基础
2019-03-08
1070: 小汽车的位置
2019-03-08
二进制数
2019-03-08
1075: 聚餐人数统计
2019-03-08
顺序栈的实现(C语言实现)
2019-03-08
栈的链式存储(C语言实现)
2019-03-08
利用栈完成进制转换(十进制转其它进制)
2019-03-08
1081: n个数求和 (多实例测试)
2019-03-08
1082: 敲7(多实例测试)
2019-03-08
队列的链式存储(C语言实现)
2019-03-08
二叉树的遍历(C语言实现)
2019-03-08
阶乘的最高位
2019-03-08
7744问题
2019-03-08
阶乘之和
2019-03-08