Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者
作者:mmseoamin日期:2023-12-20

1、查看kafka队列中topic信息

1.1、查看所有topic

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --list

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第1张

1.2、查看kafka中指定topic的详情

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --topic ai_jl_analytic --describe

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第2张

2、查看消费者consumer的group列表

2.1 查看所有的group

./kafka-consumer-groups.sh --bootstrap-server 10.128.106.52:9092 --list

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第3张

2.2 查看指定的group

./kafka-consumer-groups.sh --bootstrap-server 10.128.106.52:9092 --group ai-trace --describe

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第4张Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第5张

3、创建、修改、删除topic

3.1 创建topic

./kafka-topics.sh --create --zookeeper 10.128.106.52:2181 --topic test --partitions 8 --replication-factor 1
#创建topic名为test,分区数为8,副本数为1

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第6张Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第7张

3.2 修改topic分区数量

./kafka-topics.sh --zookeeper 10.128.106.52:2181 -alter --partitions 12 --topic test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第8张

3.3 删除topic

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --delete --topic test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第9张

执行topic删除命令时,出现提示

Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

这条命令其实并不执行删除动作,仅仅是在zookeeper上标记该topic要被删除而已,同时也提醒用户一定要提前打开delete.topic.enable开关,否则删除动作是不会执行的。

解决办法:

a)在server.properties中设置delete.topic.enable参数为ture

b)如下操作:

1.登录zookee客户端:./bin/zookeeper-client

2.找到topic所在目录:ls /brokers/topics

3.执行删除命令:rmr /brokers/topics/test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第10张

4、模拟生产者/消费者

4.1 生产者生产消息:

./kafka-console-producer.sh --broker-list 10.128.106.52:9092 --topic test

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第11张

4.2 消费者消费消息:

./kafka-console-consumer.sh --bootstrap 10.128.106.52:9092 --topic server

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者,在这里插入图片描述,第12张