kafka工作流程及文件存储机制
工作流程
- 创建副本，leader也算副本之一，且相同分区的副本不会在同一台服务器上
- 上图012345表示偏移量
- follower会主动找到leader把数据备份过来
- kafka中的消息是以topic进行分类的
- topic是逻辑上的概念，而partition是物理上的概念
- 每个partition对应一个log文件，该log文件中存储的就是producer产生的数据。
- producer产生的数据会被不断追加到该log文件末端，且每条数据都有自己的offset
- 消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费
kafka文件存储机制
- 为防止log文件过大导致数据定位效率低，kafka采取了分片和索引机制，将每个partition分为多个segment（分片，片段）
- 每个segment对应两个文件.index文件和.log文件，位于一个文件夹下，该文件夹的命名规则topic名称+分区序号
- first-0 first-1 first-2
- index和log文件以当前segment的第一条消息的offset命名
index文件和log文件
- 根据index文件名确定offset3在哪个index文件
- 找到index文件中offset3的位置存储的seek：756 以及数据大小 即可获取到message-3
- seek指物理数据偏移地址