kafka数据积压查看和脚本检测

kafka数据积压查看和脚本检测

一、kafka数据积压查看

1、概述由于消息消费速度处理慢或是消费端故障会导致数据产生积压。2、查看kafka所有的消费组##如果是集群192.168.10.131:9092,192.168.10.132:9092,192.168.10.133:9092./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list3、查询kafka_test消费组##如果是集群192.168.10.131:9092,192.168.10.132:9092,192.168.10.133:9092./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group kafka_test4、消费积压情况LogEndOffset ：下一条将要被加入到日志的消息的位移CurrentOffset ：当前消费的位移LAG ：消息堆积量消息堆积量：消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量LogEndOffset：代表Partition的最高日志位移。简称LEO主要就是看LAG这一列5、重设消费者组位移最早处./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group kafka_test --reset-offsets --all-topics --to-earliest --execute最新处./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group kafka_test --reset-offsets --all-topics --to-latest --execute某个位置./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group kafka_test --reset-offsets --all-topics --to-offset 2000 --execute调整到某个时间之后得最早位移./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group kafka_test --reset-of

二、kafka数据积压脚本

脚本编写难点：脚本使用root运行，kafka是用kafka用户运行的，并且jdk只在kafka用户设置了环境变量，所以部分kafka命令需要切换kafka用户运行#!/bin/bashkafka_bin=/app/kafka/bin/kafka-consumer-groups.shfor i in `su - kafka -c "$kafka_bin --bootstrap-server localhost:9092 --list"`do kafka_num=$(su - kafka -c "$kafka_bin --bootstrap-server localhost:9092 --describe --group $i"|grep "$i"|awk '{print $6}'|sort -nr|head -n 1) if [ $kafka_num -gt 0 ] then echo "kafka have massege stacked,num is $kafka_num" fidone

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。