kafka集群搭建
发布日期:2021-05-18 09:40:56 浏览次数:21 分类:精选文章

本文共 2009 字,大约阅读时间需要 6 分钟。

安装Java、ZooKeeper和Kafka指南

安装Java、ZooKeeper和Kafka是一个复杂但涵泥丰富的过程,涉及多个步骤和细节。以下将从Java安装开始,继续到ZooKeeper和Kafka的配置和部署。

Java安装

1. 下载并安装Java JDK 16

首先,访问Oracle官方网站下载Java Development Kit (JDK) 16。你可以通过以下链接找到下载页面:https://www.oracle.com/java/technologies/javase-jdk16-downloads.html。

下载完成后,按照以下步骤进行安装:

  • 创建目录:

    mkdir /usr/lib/jvm
  • 解压JDK 16:

    tar -xf jdk-16_linux-x64_bin.tar.gz -C /usr/lib/jvm/
  • 配置环境变量:

    打开/etc/profile文件,添加以下行:

    export JAVA_HOME=/usr/lib/jvm/jdk-16export PATH=$JAVA_HOME/bin:$PATH

    保存修改后执行:

    source /etc/profile
  • 验证安装:

    java --version
  • ZooKeeper安装

    1. 下载ZooKeeper 3.4.6

    访问下面链接下载ZooKeeper:http://archive.apache.org/dist/zookeeper/. 测试安装的是3.4.6版本。

    2. 配置并安装ZooKeeper

  • 关闭防火墙:
    使用你的系统说明书或控制台访问防火墙设置,确保所有节点之间的通信不受阻碍。
  • 2.编辑/etc/hosts文件:

    确保所有节点的IP地址和主机名正确映射。

    1. 配置节点间免密登录:

      使用 SSH 密钥Removing 提交,可以参考在线资源(如_METHODS.md)进一步了解。

    2. 配置ZooKeeper配置文件:

      cd zookeeper-3.4.6/cp conf/zoo_sample.cfg conf/zoo.cfgmkdir data
    3. 编辑conf/zoo.cfg

      vi conf/zoo.cfg

      添加以下内容:

      tickTime=2000dataDir=/root/zookeeper-3.4.6/dataclientPort=2181initLimit=5syncLimit=2server.1=vm1:2888:3888server.2=vm2:2888:3888server.3=vm3:2888:3888
      1. 复制ZooKeeper目录到其他节点:

        cp -r zookeeper-3.4.6 /path/to/other/nodes/
      2. 在每个节点上执行相应的命令:

        根据server.x配置正确执行:

        echo "1" > /root/zookeeper-3.4.6/data/myidecho "2" > /root/zookeeper-3.4.6/data/myidecho "3" > /root/zookeeper-3.4.6/data/myid
      3. 启动ZooKeeper:

        在每个节点执行:

        bin/zkServer.sh start
      4. Kafka安装

        1. 下载Kafka 2.7.0

        访问Kafka下载页面:https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz。

        2. 解压并配置Kafka

      5. 解压Kafka:

        tar -xf kafka_2.13-2.7.0.tgz
      6. 配置server.properties

        vi config/server.properties

        添加以下内容:

        broker.id=1zookeeper.connect=vm1:2181,vm2:2181,vm3:2181listeners=PLAINTEXT://:9092
      7. 复制Kafka到其他节点:

        cp -r kafka_2.13-2.7.0 /path/to/other/nodes/
      8. 启动Kafka:

        在每个节点执行:

        bin/kafka-server-start.sh -daemon config/server.properties
      9. 注意事项

        • zookeeper: 确保每个Kafka节点都有配置一致的ZooKeeper地址和配置文件。
        • myid文件: 每个节点需要单独生成myid文件,确保与服务器配置一致。
        • 防火墙设置: 确保所有相关端口(如2181和9092)在节点间是可达的。
        • 日志监控: 配置日志监控工具如Logstash或ELK,以便跟踪和处理Kafka/ZooKeeper日志。

        完成以上步骤后,你应该可以成功地在你的环境中部署Java、ZooKeeper和Kafka,为后续的应用开发打下坚实的基础。

    上一篇:/tmp/目录一直生成core-680929-inotify-index-1618997869类似文件
    下一篇:qemu-kvm: Initialization of device cfi.pflash01 failed

    发表评论

    最新留言

    关注你微信了!
    [***.104.42.241]2025年04月14日 15时42分57秒