Monthly Archives: 9 月 2023
zookeeper-03 zookeeper内部原理
选举机制
半数机制：集群中半数以上机器存活，集群可用。所以zookeeper适合安装奇数台服务器
zookeeper虽然在配置文件中并没有指定leader和follower，但是zookeeper工作时，是有一个节点为leader，其他节点为followe...
zookeeper-01 入门
概述
zookeeper是一个开源的分布式的
zookeeper从设计模式来理解：是一个基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookee...
flume-07 hdfs sink配置参数说明
Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。
channel
type
hdfs
path
写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume...
flume-04 进阶
Flume事务
put事务流程：
doPut将批数据先写入临时缓冲区putList
doCommit检查channel内存队列是否足够合并
doRollback:channel内存队列空间不足，回滚数据
Take事务
d...