【大数据】分布式集群部署
发布日期:2021-10-24 12:41:30 浏览次数:1 分类:技术文章

本文共 2298 字,大约阅读时间需要 7 分钟。

1、集群规划部署

节点名称 NN1 NN2 DN  RM NM
hadoop01 NameNode   DataNode   NodeManager
hadoop02   SecondaryNameNode DataNode ResourceManager NodeManager
hadoop03     DataNode   NodeManager

 2、参考单机部署,拷贝安装目录至相同目录,使用ln -s 建立软连接

 

 

3、修改配置文件参数及sh启动文件--根据集群规划部署配置

 

slaves:记录了机器名

*.sh:修改JAVA_HOME

yarn-site.xml 

yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
hadoop02

hdfs-site.xml 

dfs.replication
3
dfs.permissions
false
If "true", enable permission checking in HDFS. If "false", permission checking is turned off, but all other behavior is unchanged. Switching from one parameter value to the other does not change the mode, owner or group of files or directories.
dfs.namenode.secondary.http-address
hadoop02:50090

mapred-site.xml 

mapreduce.framework.name
yarn

 

core-site.xml

fs.defaultFS
hdfs://hadoop01:9000
hadoop.tmp.dir
/hadoop/tmp

 

4、由于是在单机基础上升级扩展,需要删除hadoop.tmp.dir目录文件,并用root授权 chmod 777 -R /hadoop

5、重新格式化:hdfs namenode -foamate

6、配置拷贝:scp -r /home/hadoop/Soft/hadoop-2.7.6/etc/hadoop hadoop@hadoop03:/home/hadoop/Soft/hadoop-2.7.6/etc/

7、Hadoop01:start-dfs.sh

8、Hadoop02:start-yarn.sh

10、使用jps查看进程

 

 

参考:

https://blog.csdn.net/frank409167848/article/details/80968531

https://www.cnblogs.com/frankdeng/p/9047698.html

转载于:https://www.cnblogs.com/defineconst/p/10982576.html

转载地址:https://blog.csdn.net/weixin_30784141/article/details/98367182 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:四则运算01
下一篇:GIS-013-Cesium Terrain 数据生成

发表评论

最新留言

感谢大佬
[***.8.128.20]2024年03月03日 06时20分59秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

webpack卸载_webpack的安装 2019-04-21
mysql主库线程_MySQL 主从扩展--主库的线程状态 2019-04-21
phpmyadmin管理mysql_LAMP实验二:使用phpMyAdmin管理MySQL 2019-04-21
mysql一秒最多写多少次_Mysql的两种“超过多少次”写法(力扣596) 2019-04-21
mysql el函数_MySQL中的常用函数 2019-04-21
mysql 备份 晓燕_mysql字符串函数 2019-04-21
mysql返回第n个值_获取mysql一组数据中的第N大的值 2019-04-21
java 获取请求的路径_JavaWeb-request获取请求路径的相关方法 2019-04-21
java 适应边框_带边框自适应宽度100%的解决办法 2019-04-21
router vue 页签文字_记一次基于vue的spa多页签实践经验 2019-04-21
估计的商是什么意思_商是什么意思,商的繁体字,商有几笔,商字几画 2019-04-21
java泛型改进_编写高质量代码:改善Java程序的151个建议(第7章:泛型和反射___建议93~97)... 2019-04-21
java读文件几种方式_JAVA读取文件的几种方式 2019-04-21
java arraylist常用方法_C#中数组、ArrayList、List、Dictionary的用法与区别浅析(存取数据)... 2019-04-21
如何实现java文档注释_JavaDoc注释与帮助说明文档 2019-04-21
Java一亿电话号码去重_20 亿个数字在 4G 内存中如何去重排序:快来试一试 BitMap... 2019-04-21
java判断ipv6地址类型_IPv6地址类型与格式 2019-04-21
linux java jdk_linux安装JDK 2019-04-21
java的showcase_java – 如何在Eclipse中导入ShowcaseView? 2019-04-21
JAVA中math的作用_Java中Random 和 Math 的概述及使用(二十六) 2019-04-21