Yearly Archives: 2023

Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume...

pom.xml

Flume事务 put事务流程： doPut将批数据先写入临时缓冲区putList doCommit检查channel内存队列是否足够合并 doRollback:channel内存队列空间不足，回滚数据 Take事务 d...

监控端口数据 需求 使用Flume监听一个端口，收集该端口数据，并打印到控制台 分析 安装netcat

下载 http://flume.apache.org/download.html apache-flume-1.9.0-bin.tar.gz 安装 上传到服务器/opt/software/文件夹下 解压文件到/opt/mudole/文件夹下...

Agent Agent是一个JVM进程，它以事件（Event）的形式将数据从源头送至目的地 Agent主要有3个部分组成，Source、Channel、Sink Source Source是负责接收数据到Flume Agent的组件。Sou...