
kafka集群搭建
关闭防火墙:使用你的系统说明书或控制台访问防火墙设置,确保所有节点之间的通信不受阻碍。
发布日期:2021-05-18 09:40:56
浏览次数:21
分类:精选文章
本文共 2009 字,大约阅读时间需要 6 分钟。
安装Java、ZooKeeper和Kafka指南
安装Java、ZooKeeper和Kafka是一个复杂但涵泥丰富的过程,涉及多个步骤和细节。以下将从Java安装开始,继续到ZooKeeper和Kafka的配置和部署。
Java安装
1. 下载并安装Java JDK 16
首先,访问Oracle官方网站下载Java Development Kit (JDK) 16。你可以通过以下链接找到下载页面:https://www.oracle.com/java/technologies/javase-jdk16-downloads.html。
下载完成后,按照以下步骤进行安装:
创建目录:
mkdir /usr/lib/jvm
解压JDK 16:
tar -xf jdk-16_linux-x64_bin.tar.gz -C /usr/lib/jvm/
配置环境变量:
打开/etc/profile文件,添加以下行:export JAVA_HOME=/usr/lib/jvm/jdk-16export PATH=$JAVA_HOME/bin:$PATH
保存修改后执行:
source /etc/profile
验证安装:
java --version
ZooKeeper安装
1. 下载ZooKeeper 3.4.6
访问下面链接下载ZooKeeper:http://archive.apache.org/dist/zookeeper/. 测试安装的是3.4.6版本。
2. 配置并安装ZooKeeper
2.编辑/etc/hosts文件:
确保所有节点的IP地址和主机名正确映射。配置节点间免密登录:
使用 SSH 密钥Removing 提交,可以参考在线资源(如_METHODS.md)进一步了解。配置ZooKeeper配置文件:
cd zookeeper-3.4.6/cp conf/zoo_sample.cfg conf/zoo.cfgmkdir data
复制ZooKeeper目录到其他节点:
cp -r zookeeper-3.4.6 /path/to/other/nodes/
在每个节点上执行相应的命令:
根据server.x
配置正确执行:echo "1" > /root/zookeeper-3.4.6/data/myidecho "2" > /root/zookeeper-3.4.6/data/myidecho "3" > /root/zookeeper-3.4.6/data/myid
启动ZooKeeper:
在每个节点执行:bin/zkServer.sh start
解压Kafka:
tar -xf kafka_2.13-2.7.0.tgz
配置
server.properties
:vi config/server.properties
添加以下内容:
broker.id=1zookeeper.connect=vm1:2181,vm2:2181,vm3:2181listeners=PLAINTEXT://:9092
复制Kafka到其他节点:
cp -r kafka_2.13-2.7.0 /path/to/other/nodes/
启动Kafka:
在每个节点执行:bin/kafka-server-start.sh -daemon config/server.properties
- zookeeper: 确保每个Kafka节点都有配置一致的ZooKeeper地址和配置文件。
- myid文件: 每个节点需要单独生成myid文件,确保与服务器配置一致。
- 防火墙设置: 确保所有相关端口(如2181和9092)在节点间是可达的。
- 日志监控: 配置日志监控工具如Logstash或ELK,以便跟踪和处理Kafka/ZooKeeper日志。
编辑conf/zoo.cfg
:
vi conf/zoo.cfg
添加以下内容:
tickTime=2000dataDir=/root/zookeeper-3.4.6/dataclientPort=2181initLimit=5syncLimit=2server.1=vm1:2888:3888server.2=vm2:2888:3888server.3=vm3:2888:3888
Kafka安装
1. 下载Kafka 2.7.0
访问Kafka下载页面:https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz。
2. 解压并配置Kafka
注意事项
完成以上步骤后,你应该可以成功地在你的环境中部署Java、ZooKeeper和Kafka,为后续的应用开发打下坚实的基础。
发表评论
最新留言
关注你微信了!
[***.104.42.241]2025年04月14日 15时42分57秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Problem G. The Stones Game【取石子博弈 & 思维】
2019-03-07
Java多线程
2019-03-07
openssl服务器证书操作
2019-03-07
我用wxPython搭建GUI量化系统之最小架构的运行
2019-03-07
我用wxPython搭建GUI量化系统之多只股票走势对比界面
2019-03-07
selenium+python之切换窗口
2019-03-07
重载和重写的区别:
2019-03-07
搭建Vue项目步骤
2019-03-07
账号转账演示事务
2019-03-07
SpringBoot找不到@EnableRety注解
2019-03-07
简易计算器案例
2019-03-07
在Vue中使用样式——使用内联样式
2019-03-07
Explore Optimization
2019-03-07
map[]和map.at()取值之间的区别
2019-03-08
【SQLI-Lab】靶场搭建
2019-03-08
【Bootstrap5】精细学习记录
2019-03-08
Struts2-从值栈获取list集合数据(三种方式)
2019-03-08
参考图像
2019-03-09