本文共 4060 字，大约阅读时间需要 13 分钟。

1、zookeeper的安装

##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2

##安装java8

解压配置环境即可

##ssh(每一台机器)

ssh-keyscan #生成密码ssh-copy-id lgh2 #复制到不同机器

##创建用户

useradd -d /home/spark sparkpasswd spark

##解压

tar -zxvf zookeeper-3.4.8.tar.gz -C xxx目录

##创建软链接（每一台机器）

ln -s zookeeper-3.4.8 zookeeper

##创建环境变量

vim ~/.bashrcexport ZOOKEEPER_HOME=/home/spark/zookeeperexport PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

##修改配置文件

cd /home/spark/zookeeper/confcp zoo_sample.cfg zoo.cfgvim zoo.cfg

#配置信息如下：

tickTime=2000 #服务器与客户端之间交互的基本时间单元（ms）initLimit=10 # 此配置表示允许follower连接并同步到leader的初始化时间，它以tickTime的倍数来表示。当超过设置倍数的tickTime时间，则连接失败syncLimit=5 # Leader服务器与follower服务器之间信息同步允许的最大时间间隔，如果超过次间隔，默认follower服务器与leader服务器之间断开链接dataDir=/home/spark/zookeeper/data #保存zookeeper数据路径dataLogDir=/home//spark/zookeeper/dataLog #保存zookeeper日志路径，当此配置不存在时默认路径与dataDir一致clientPort=2181 #客户端访问zookeeper时经过服务器端时的端口号server.1=lgh:2888:3888 #表示了不同的zookeeper服务器的自身标识，作为集群的一部分，每一台服务器应该知道其他服务器的信息server.2=lgh1:2888:3888server.3=lgh2:2888:3888maxClientCnxns=60 #限制连接到zookeeper服务器客户端的数量

##创建myid文件

cd /home/spark/zookeeper/datavim myid #输入1

##复制到其他机器

scp -r zookeeper-3.4.8 spark@lgh1:/home/spark/scp -r zookeeper-3.4.8 spark@lgh2:/home/spark/

#修改myid文件

不同机器数字不一样，分别为2和3

##启动

zkServer.sh start

#查看状态

zkServer.sh status

#查看进程

jpsQuorumPeerMain

2、hadoop安装

##解压

tar -zxvf hadoop-2.7.7.tar.gz -C xxx目录

##修改vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

##修改 vim etc/hadoop/core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://lgh:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/spark/hadoop-2.7.7/tmp</value>　　　　　　　　　 </property></configuration>

##修改vim hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/dfs/name</value>　　</property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hdfs/data</value> </property></configuration>

#修改vim mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>

##修改yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>

##修改 vim slaves

lghlgh1lgh2

##复制到其他机器scp -r hadoop-2.7.7/ spark@lgh1:/home/spark/scp -r hadoop-2.7.7/ spark@lgh2:/home/spark/

##配置环境变量

HADOOP_HOME=/home/spark/hadoopPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##格式化

hdfs namenode -format

##启动

start-all.sh

##查看进程

#主节点9616 QuorumPeerMain11264 ResourceManager10818 DataNode11061 SecondaryNameNode11751 Jps10714 NameNode11370 NodeManager

#从节点

2273 QuorumPeerMain2547 NodeManager2438 DataNode2653 Jps

3、spark的安装##安装scalatar -zxvf scala-2.12.8.tgz -C /usr/local/ln -s scala-2.12.8/ scala

##配置环境变量

export SCALA_HOME=/usr/local/scalaexport PATH=$SCALA_HOME/bin:$PATH

##复制到其他机器并建立软链接

scp -r scala-2.12.8/ root@lgh1:/usr/local/scp -r scala-2.12.8/ root@lgh2:/usr/local/

##解压spark

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C xxx目录

##修改配置文件

cd /home/spark/spark-2.2.0-bin-hadoop2.7/confcp spark-env.sh.template spark-env.sh

vim spark-env.sh

配置信息如下：export JAVA_HOME=/usr/local/jdkexport SCALA_HOME=/usr/local/scalaexport HADOOP_HOME=/home/spark/hadoopexport HADOOP_CONF_DIR=/home/spark/hadoop/etc/hadoopexport SPARK_MASTER_IP=SparkMasterexport SPARK_WORKER_MEMORY=2gexport SPARK_WORKER_CORES=2export SPARK_WORKER_INSTANCES=1

cp slaves.template slaves

vim slaves配置信息如下：lghlgh1lgh2

##复制到其他节点并建立软链接

scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh1:/home/spark/scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh2:/home/spark/

##配置环境变量

export SPARK_HOME=/home/spark/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

##启动

cd /home/spark/spark/sbin && ./start-all.sh

##jps查看主节点进程

9616 QuorumPeerMain11264 ResourceManager12704 Worker10818 DataNode12756 Jps11061 SecondaryNameNode12632 Master10714 NameNode11370 NodeManager

##jps查看从节点进程

2240 DataNode2562 Worker2052 QuorumPeerMain2613 Jps