Kafka, 大数据

kafka-18 常用命令

# 开启服务
kafka-server-start.sh   ../config/server.properties

#创建topic
kafka-topics.sh --create --zookeeper 192.168.56.116:2181 --topic msgEvent --replication-factor 1 --partitions 1

# 查看topic列表
./kafka-topics.sh --list --zookeeper localhost:2181

# 查看topic详细信息
kafka-topics.sh -zookeeper zk服务IP:2181 --describe -topic WordCount

# 生产消息
kafka-console-producer.sh --broker-list kafka服务IP:9092 --topic WordCount

# 消费消息
kafka-console-consumer.sh --bootstrap-server 192.168.56.116:9092 --from-beginning --topic msgEvent

# 删除topic
# 不能真正删除topic只是把这个topic标记为删除(marked for deletion),要彻底把topic删除必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的路径一并删除
kafka-topics.sh --zookeeper zk服务IP:2181 --delete --topic WordCount

# Earliest 从每个kafka分区最开始处开始获取
# Assign 手动指定每个kafka分区中的offset
# latest 不再处理之前的消息只获取流计算启动后产生的数据