Kafka知识点入门学习一-白红宇的个人博客

Kafka知识点入门学习一

发布日期：2021-05-06 15:29:33 浏览次数：25 分类：精选文章

本文共 1331 字，大约阅读时间需要 4 分钟。

Kafka简介

Kafka是一种开源的分布式事件发布-订阅系统，属于现代消息队列系统的一种，具有高吞吐量、低延迟等特点。它广泛应用于大数据处理、实时数据流处理等领域。

Kafka消息队列内部实现原理

Kafka的核心是基于主题-分区（topic-partition）架构，消息被发布到主题中，主题又划分为多个分区。每个分区可以独立处理消息，支持高并发和高吞吐量。消息在分区内部采用生产者-消费者模式传递，保证了系统的可扩展性和容错性。

为什么需要消息队列？

在分布式系统中，数据生产者和消费者往往存在时间差，直接使用传统的文件或数据库存储可能导致数据不一致。消息队列可以解决这一问题，通过异步化处理，确保数据的高效传递和可靠存储。

Kafka架构原理

Kafka的特性

高吞吐量与低延迟

Kafka每秒可以处理几十万条消息，延迟仅几毫秒。每个主题可以分多个分区，消费者组（consumer group）负责对分区进行消费操作。

可扩展性

Kafka集群支持热扩展，新增节点可轻松增加处理能力。

持久性与可靠性

消息被持久化到本地磁盘，支持数据备份，防止数据丢失。

容错性

集群中允许部分节点故障，副本数量为n时可允许n-1个节点失效。

高并发

支持数千个客户端同时读写，满足大规模应用需求。

Kafka的使用场景

Kafka适用于大数据实时处理、金融交易系统、日志采集等场景。通过将数据发布到主题中，系统可以实现数据的解耦和异步处理。

Kafka集群部署

环境准备

确保Zookeeper集群和Java Development Kit（JDK）已安装。建议部署三台以上节点，形成可用性集群。

Kafka版本

选择适合业务需求的Kafka版本。可以通过官网获取最新版本。

安装与配置

将Kafka解压到指定目录，如/opt/module/kafka。

修改config/server.properties，配置如下：

broker.id=0：指定broker唯一ID。

listeners=PLAINTEXT://:9092：配置监听地址。

advertised.listeners=PLAINTEXT://your.host.name:9092：配置广告地址。

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181：配置Zookeeper地址。

log.dirs=/opt/module/kafka/logs：指定日志存储路径。

num.partitions=3：设置每个主题的分区数量。

num.io.threads=8：设置磁盘IO线程数量。

修改config/producer.properties，配置生产者地址。

修改config/consumer.properties，配置消费者地址。

集群部署

部署Zookeeper集群。

在每台节点上启动Kafka服务，命令如下：

bin/kafka-server-start.sh config/server.properties

验证各节点状态，确保服务正常运行。

通过以上步骤，可以实现Kafka集群的部署，满足大规模数据处理需求。

上一篇：Kafka知识点入门学习二

下一篇：Flume知识点入门学习二

发表评论

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！