
虚拟机、mysql、hadoop伪分布式、高可用集群
发布日期:2021-05-10 03:44:20
浏览次数:21
分类:精选文章
本文共 1370 字,大约阅读时间需要 4 分钟。
虚拟机与大数据技术配置指南
1. VMware WorkStation 安装
安装VMware WorkStation时,请按照以下步骤操作:
- 打开 VMware WorkStation,点击“文件” - “新建虚拟机”进入新建虚拟机向导。
- 选择“典型”安装操作系统。
- 设置客户机操作系统为 Linux CentOS 7 64位。
- 将虚拟磁盘拆分成多个文件,默认选择最大磁盘大小。
- 配置内存(推荐4GB)和硬件设置,确保网络适配器设置为“仅主机模式”和“NAT模式”。
- 完成配置后,点击“更多选项” > “高级” > “虚拟设备节点:SATA(A)”进行硬件设置。
- 输入秘钥完成安装。
2. 登录虚拟机
- 输入登录口令:root密码为初始密码。
- 配置网络:编辑 vi /etc/sysconfig/network-scripts/ifcfg-ens33,设置静态IP地址。
- 重启网络服务:运行 systemctl restart network。
- 关闭防火墙:执行 systemctl stop firewalld 及 systemctl disable firewalld。
3. 安装 JDK
- 将 JDK 安装包上传到 /root/software 目录。
- 解压 JDK 到当前目录:tar -zxvf jdk-8u221-linux-x64.tar.gz。
- 配置环境变量:编辑 vi /etc/profile,添加以下内容:
export JAVA_HOME=/root/software/jdk1.8.0_221export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/binexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
- 重新加载环境变量:source /etc/profile。
4. 安装 MySQL
- 下载并安装 MySQL 客户端和服务器包:rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm 和 MySQL-server-5.6.46-1.el7.x86_64.rpm。
- 启动 MySQL 服务:mysql start。
- 设置初始密码:mysql -u root -p。
- 配置 MySQL 数据库。
5. Hadoop 伪分布式安装
安装步骤如下:
- 解压 Hadoop 包并配置基本环境变量。
- 修改 core-site.xml 和 hdfs-site.xml 配置 HDFS 主名节点和数据节点。
- 格式化 NameNode:hdfs namenode -format。
- 启动所有 Hadoop服务:cd /root/software/hadoop/bin/ && ./start-all.sh。
- 查看进程状态:jps。
6. Hadoop 集群配置
- 新建三台虚拟机:hadoop20、hadoop21、hadoop22。
- 配置 JDK 和 Hadoopsoftware。
- 配置 hdfs-ha 高可用集群: edits
发表评论
最新留言
逛到本站,mark一下
[***.202.152.39]2025年05月01日 05时00分46秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
C++ Primer Plus读书笔记:循环读取(错误处理)
2019-03-12
skimage与cv2 安装失败的解决办法
2019-03-12
关于吴恩达的深度学习的一些授课视频里面英文翻译错误的实例展示
2019-03-12
伴随矩阵和逆矩阵的关系证明
2019-03-12
突破Bias-Variance困境
2019-03-12
Form窗体属性
2019-03-12
解决宝塔安装wordpress无法连接到数据库问题
2019-03-12
解决Eclipse加载图片或网页出现404错误
2019-03-12
vue 错误收集
2019-03-12
Java选择排序算法实现
2019-03-12
00010.02最基础客户信息管理软件(意义类的小项目,练习基础,不涉及数据库)
2019-03-12
00013.05 字符串比较
2019-03-12
LeetCode: 138. 复制带随机指针的链表(中等)[DFS, 迭代]
2019-03-12
Effective Java 读书笔记
2019-03-12
SpringBoot使用@Email报错误
2019-03-13
Rabbitmq的内存磁盘监控
2019-03-13
访问servlet时弹出文件下载框解决方法
2019-03-13
Java中的注释
2019-03-13
cookie、session、token
2019-03-13