虚拟机、mysql、hadoop伪分布式、高可用集群
发布日期:2021-05-10 03:44:20 浏览次数:21 分类:精选文章

本文共 1370 字,大约阅读时间需要 4 分钟。

虚拟机与大数据技术配置指南

1. VMware WorkStation 安装

安装VMware WorkStation时,请按照以下步骤操作:

  • 打开 VMware WorkStation,点击“文件” - “新建虚拟机”进入新建虚拟机向导。
  • 选择“典型”安装操作系统。
  • 设置客户机操作系统为 Linux CentOS 7 64位。
  • 将虚拟磁盘拆分成多个文件,默认选择最大磁盘大小。
  • 配置内存(推荐4GB)和硬件设置,确保网络适配器设置为“仅主机模式”和“NAT模式”。
  • 完成配置后,点击“更多选项” > “高级” > “虚拟设备节点:SATA(A)”进行硬件设置。
  • 输入秘钥完成安装。

2. 登录虚拟机

  • 输入登录口令:root密码为初始密码。
  • 配置网络:编辑 vi /etc/sysconfig/network-scripts/ifcfg-ens33,设置静态IP地址。
  • 重启网络服务:运行 systemctl restart network。
  • 关闭防火墙:执行 systemctl stop firewalld 及 systemctl disable firewalld。

3. 安装 JDK

  • 将 JDK 安装包上传到 /root/software 目录。
  • 解压 JDK 到当前目录:tar -zxvf jdk-8u221-linux-x64.tar.gz。
  • 配置环境变量:编辑 vi /etc/profile,添加以下内容:
    export JAVA_HOME=/root/software/jdk1.8.0_221
    export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
  • 重新加载环境变量:source /etc/profile。

4. 安装 MySQL

  • 下载并安装 MySQL 客户端和服务器包:rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm 和 MySQL-server-5.6.46-1.el7.x86_64.rpm。
  • 启动 MySQL 服务:mysql start。
  • 设置初始密码:mysql -u root -p。
  • 配置 MySQL 数据库。

5. Hadoop 伪分布式安装

安装步骤如下:

  • 解压 Hadoop 包并配置基本环境变量。
  • 修改 core-site.xml 和 hdfs-site.xml 配置 HDFS 主名节点和数据节点。
  • 格式化 NameNode:hdfs namenode -format。
  • 启动所有 Hadoop服务:cd /root/software/hadoop/bin/ && ./start-all.sh。
  • 查看进程状态:jps。

6. Hadoop 集群配置

  • 新建三台虚拟机:hadoop20、hadoop21、hadoop22。
  • 配置 JDK 和 Hadoopsoftware。
  • 配置 hdfs-ha 高可用集群: edits
上一篇:mysql-1
下一篇:多线程

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2025年05月01日 05时00分46秒