(十八)生产者源码的总结
发布日期:2021-11-18 17:47:37 浏览次数:6 分类:技术文章

本文共 704 字,大约阅读时间需要 2 分钟。

Kafka的源码

阅读起来,思路很清晰,命名也是很规范。

看完以后我们总结一下KafkaProducer这儿哪些地方值得我们学习:

(1)Kafka的网络部分的设计绝对是一个亮点,Kafka自己基于NIO封装了一套自己的网络框架,支持一个客户端与多个Broker建立连接。
(2)处理拆包和粘包的的思路和代码,绝对是教科书级别的,可以把代码复制粘贴下来直接用到自己的线上的项目去。
(3)RecordAccumulator封装消息的batchs,使用的自己封装的数据结构CopyOnWriteMap,采用读写分离的思想,用来面对高并发的场景(读多,写少),提升整个流程的性能。
(4)同时封装消息的时候设计的内存缓冲池,这极大的减少了GC的次数。
我们java的项目,最怕最怕的就是GC,java项目60%的问题都是GC引起的。
(5)如果大家还记得RecordAccumulator封装批次时候的代码的话,里面封装批次的时候代码采用的是分段加锁的思想,极大的提高了性能,看得出来作者确实编程功底很深厚。可以不用加锁的地方,就不加锁,只在必须加锁的地方加锁。,尽可能的去提升代码的性能,或者说是减少锁的使用的。
因为一旦我们在代码里面使用了锁以后:

  1. 死锁
  2. 锁争用
    (6)其实我个人感觉Kafka的异常体系也是设计得比较清晰的,在核心流程捕获异常,底层抛异常。如果编程经验少一些的同学可以学习借鉴一下。
    (7) 生产者去发送数据的时候
    提供了两个方案:
    1. 同步发送:性能会差
    2. 异步发送:
    里面结合回调函数,很大的提升了kafka的性能。
    如果我们自己去设计一个系统,这样设计思路也是值得大家去学习的。

转载地址:https://blog.csdn.net/weixin_37850264/article/details/112385727 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:(二)NameNode剖析
下一篇:(十七)处理长时间没响应的请求

发表评论

最新留言

初次前来,多多关照!
[***.217.46.12]2024年03月11日 10时45分59秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

librosa能量_librosa语音信号处理 2019-04-21
android日期选择区间控件_Android时间区间的选择 2019-04-21
lin通讯从节点同步间隔场_LIN模块介绍 2019-04-21
mysql注入提取邮件_Mysql提取数据每日自动邮件通知 2019-04-21
mysql 列权限_mysql 权限相关 2019-04-21
手机端 vue+vant datetime支持时分秒_vueCli4+vant+router+vuex+移动端适配 2019-04-21
kafka消费者直接存在mysql中_【Canal】利用canal实现mysql实时增量备份并对接kafka 2019-04-21
python中readlines()函数_python中读取文件函数read()、readline()、readlines()的区别 2019-04-21
python入门之基础语法第四关输入输出答案_Python基本语法入门,基础 2019-04-21
mysql在存储过程仍_mysql存储过程 2019-04-21
失败的人生图片_早安励志经典语录精辟的一句话人生感悟 2019-04-21
如何设画面大小_如何设计旅游类项目?分享3种设计思路 2019-04-21
开启web_2021秋招四大网申时间、网申地址汇总(持续更新),德勤、安永、普华永道已开启!... 2019-04-21
从右边开始放_停路边,被人恶意放钉子,爆胎,报警无果,要我找监控 2019-04-21
读写测试_UFS 3.0读写测试数据曝光:秒杀UFS 2.1和eMMC 2019-04-21
注册小程序要多少钱_开发一个微信小程序商城要多少钱? 2019-04-21
mysql 实现id自增序列_MySQL分表自增ID解决方案 2019-04-21
反距离加权插值法例题_空间插值算法-反距离加权法 2019-04-21
oracle如何写循环日期自增_Oracle动态创建时间分区,以及Oracle12c中快速创建自增列... 2019-04-21
手机gps信息提取并储存到本地_通信人的实用技巧,如何在日常拍的照片里提取GPS位置信息... 2019-04-21