
CentOS 6.5 伪分布式 安装 hadoop 2.6.0
发布日期:2025-03-31 00:44:02
浏览次数:7
分类:精选文章
本文共 2287 字,大约阅读时间需要 7 分钟。
安装JDK及Hadoop环境配置
安装JDK为了确保Hadoop能够正常运行,首先需要安装适当版本的Java Development Kit。
# 安装JDKsudo yum install java-1.8.0-openjdk-1.8.0.232-1.fc29.x86_64# 验证安装java -version
设置Hadoop用户为了便于管理,我们将创建一个专用于Hadoop的用户,并设置免密码SSH访问。
# �切换到root用户并创建hadoop用户sudo su root# 创建hadoop用户useradd hadoop# 设置hadoop用户的初始密码为`hadoop`passwd hadoop# 切换到hadoop用户sudo su hadoop# 生成SSH密钥(免密码登录)ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa# 将公钥复制到~/.ssh/authorized_keyscat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keys# 调整.ssh目录权限cd ~/.sshchmod 700 ./chmod 600 authorized_keys
解压Hadoop及设置用户权限将Hadoop解压到指定位置,并为用户分配必要的权限。
# 解压Hadooptar -xzf hadoop-2.6.0.tar.gz# 移动解压目录到/opt/hadoopmv hadoop-2.6.0 /opt/hadoop# 设置用户权限chown -R hadoop:andalone /opt/hadoop
配置环境变量配置环境变量,确保Hadoop能够识别相关路径和JDK版本。
# 添加JDK路径export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232-1.fc29.x86_64export JRE_HOME="$JAVA_HOME/jre"export CLASSPATH=".:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/bin"export HADOOP_HOME=/opt/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置核心配置文件根据需求配置各核心文件。
# 核心配置文件目录cd /usr/opt/hadoop/etc/hadoop/# 核心配置
hadoop.tmp.dir /opt/hadoop/tmp fs.default.name localhost:9000
dfs.replication 1 dfs.namenode.name.dir /opt/hadoop/dfs/name dfs.datanode.data.dir /opt/hadoop/dfs/data dfs.permissions false
mapreduce.framework.name yarn yarn.nodemanager.aux-services mapreduce.shuffle
mapred.job.tracker localhost:9001
(注:请根据实际需求填充对应配置文件中的其他必要属性)
启动Hadoop集群执行以下命令启动HDFS和YARN集群。
# 格式化Hadoop集群bin/hdfs namenode -format# 启动HDFS集群sbin/start-dfs.sh# 启动YARN集群sbin/start-yarn.sh# 验证集群状态tail -f /opt/hadoop/logs/hadoop-hadoop-namenode-.out
访问集群页面通过浏览器访问http://127.0.0.1:50070
查看Hadoop Web 界面,确认集群状态正常运行。
注意事项
- 确保所有用户组的权限正确配置,避免权限不足导致服务无法启动。
- 如果出现sounds,检查配置文件和日志文件是否有误。
- 定期备份重要数据和配置文件,确保集群运行稳定。
以上配置完成后,按照提示重启系统,即可完成Hadoop 环境的配置式部署。
发表评论
最新留言
感谢大佬
[***.8.128.20]2025年05月03日 12时56分01秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
2024年网络安全八大前沿趋势,零基础入门到精通,收藏这篇就够了
2023-01-24
2024年薪酬最高的五个网络安全职位,零基础入门到精通,收藏这一篇就够
2023-01-24
2024年非科班的人合适转行做程序员吗?
2023-01-24
2024数字安全创新性案例报告,从零基础到精通,收藏这篇就够了!
2023-01-24
2024最新最全CTF入门指南(非常详细)零基础入门到精通,收藏这一篇就够了
2023-01-24
2024最新科普什么是大模型?零基础入门到精通,收藏这篇就够了
2023-01-24
2024最新程序员接活儿搞钱平台盘点
2023-01-24
2024最火专业解读:信息安全(非常详细)零基础入门到精通,收藏这一篇就够了
2023-01-24
(插播)unity的 异常捕捉和 ios Android 崩溃信息的捕捉。
2023-01-24
2024版最新SRC漏洞挖掘思路手法(非常详细),零基础入门到精通,收藏这一篇就够了
2023-01-24
2024版最新渗透测试零基础入门教程,带你入门到精通(超详细),收藏这篇就够了
2023-01-24
2024版最新网络安全入门必备读书清单(非常详细)零基础入门到精通,收藏这一篇就够了
2023-01-24
2024版最新网络安全教程从入门到精通,看完这一篇就够了
2023-01-24
0/1背包问题——从LeetCode题海中总结常见套路
2023-01-24
(原创)面向对象的系统对接接口编写。第5篇(完结)
2023-01-24
2024网络安全岗就业前景如何?零基础入门到精通,收藏这篇就够了
2023-01-24
2024零基础如何入门网络安全?
2023-01-24
2024,java开发,已经炸了吗?
2023-01-24
2025入门黑客技术必读书籍(非常全面)带你从小白进阶大佬!收藏这一篇就够了
2023-01-24
2025入门黑客技术必读书籍(非常全面)带你从小白进阶大佬!收藏这篇就够了
2023-01-24