(十八)生产者源码的总结
发布日期:2021-11-18 17:47:37
浏览次数:6
分类:技术文章
本文共 704 字,大约阅读时间需要 2 分钟。
Kafka的源码
阅读起来,思路很清晰,命名也是很规范。
看完以后我们总结一下KafkaProducer这儿哪些地方值得我们学习:
(1)Kafka的网络部分的设计绝对是一个亮点,Kafka自己基于NIO封装了一套自己的网络框架,支持一个客户端与多个Broker建立连接。 (2)处理拆包和粘包的的思路和代码,绝对是教科书级别的,可以把代码复制粘贴下来直接用到自己的线上的项目去。 (3)RecordAccumulator封装消息的batchs,使用的自己封装的数据结构CopyOnWriteMap,采用读写分离的思想,用来面对高并发的场景(读多,写少),提升整个流程的性能。 (4)同时封装消息的时候设计的内存缓冲池,这极大的减少了GC的次数。 我们java的项目,最怕最怕的就是GC,java项目60%的问题都是GC引起的。 (5)如果大家还记得RecordAccumulator封装批次时候的代码的话,里面封装批次的时候代码采用的是分段加锁的思想,极大的提高了性能,看得出来作者确实编程功底很深厚。可以不用加锁的地方,就不加锁,只在必须加锁的地方加锁。,尽可能的去提升代码的性能,或者说是减少锁的使用的。 因为一旦我们在代码里面使用了锁以后:- 死锁
- 锁争用 (6)其实我个人感觉Kafka的异常体系也是设计得比较清晰的,在核心流程捕获异常,底层抛异常。如果编程经验少一些的同学可以学习借鉴一下。 (7) 生产者去发送数据的时候 提供了两个方案: 1. 同步发送:性能会差 2. 异步发送: 里面结合回调函数,很大的提升了kafka的性能。 如果我们自己去设计一个系统,这样设计思路也是值得大家去学习的。
转载地址:https://blog.csdn.net/weixin_37850264/article/details/112385727 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
初次前来,多多关照!
[***.217.46.12]2024年03月11日 10时45分59秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
librosa能量_librosa语音信号处理
2019-04-21
android日期选择区间控件_Android时间区间的选择
2019-04-21
lin通讯从节点同步间隔场_LIN模块介绍
2019-04-21
mysql注入提取邮件_Mysql提取数据每日自动邮件通知
2019-04-21
mysql 列权限_mysql 权限相关
2019-04-21
python入门之基础语法第四关输入输出答案_Python基本语法入门,基础
2019-04-21
mysql在存储过程仍_mysql存储过程
2019-04-21
失败的人生图片_早安励志经典语录精辟的一句话人生感悟
2019-04-21
如何设画面大小_如何设计旅游类项目?分享3种设计思路
2019-04-21
从右边开始放_停路边,被人恶意放钉子,爆胎,报警无果,要我找监控
2019-04-21
读写测试_UFS 3.0读写测试数据曝光:秒杀UFS 2.1和eMMC
2019-04-21
注册小程序要多少钱_开发一个微信小程序商城要多少钱?
2019-04-21
mysql 实现id自增序列_MySQL分表自增ID解决方案
2019-04-21
反距离加权插值法例题_空间插值算法-反距离加权法
2019-04-21