Monthly Archives: 9 月 2023
kafka-17 windows安装kafka
一、下载kafkahttp://kafka.apache.org/downloads
选择二进制版本。
二、安装kafka下载到本地后，将文件解压到本地磁盘下，该文件夹包括了所有相关的运行文件及配置文件，其子文件夹binwindows 下放的是在Window...
kafka-15 消费者组
消费者组 (Consumer Group)
1 什么是消费者组
其实对于这些基本概念的普及，网上资料实在太多了。我本不应该再画蛇添足了，但为了本文的完整性，我还是要花一些篇幅来重谈consumer group，至少可以说说我的理解。值得一提的是，由于我们今天...
kafka-13 自定义拦截器
Producer拦截器
Kafka0.10版本之后新增功能，用于实现clients端的定制化控制逻辑
实现ProducerInterceptor方法
configure(configs)
获取配置信息和初始化数据时调用
onSend(Pr...
kafka-11 Producer API
消息发送流程
kafka的producer发送消息采用的是异步发送的方式
在消息发送的过程中，涉及到两个线程：
main线程
sender线程
一个共享变量RecordAccumulator
main线程将消息发送给RecordAc...
kafka-10 Kafka事务
Producer事务
幂等性只能解决单分区单会话的问题
精准一次性写到开发集群
为实现跨分区会话的事务，引入全局唯一的TransactionID(事务ID)，将Producer的PID和TransactionID绑定，在Producer重启后就可以通...
kafka-09 zookeeper在kafka中的作用
kafka集群中有一个broker会被选举为Controller负责：
管理集群broker的上下线
所有的topic的分区副本分配
leader选举工作等
Controller的管理工作都是依赖于zookeeper