卡夫卡:使消费群体不活跃

时间:2018-10-23 20:29:47

标签: apache-kafka kafka-consumer-api apache-kafka-connect

我正在运行数据管道,以便 我通过jdbc connect将数据从sql db读入kafka主题 我使用用于ES的kafka接收器连接器在Elasticsearch中存储该数据

我需要重置此管道。为此,我想重置正在侦听jdbc connect主题的使用者组。所以我运行以下命令

<Directory /var/www/html/newrock>
        DirectoryIndex default.htm
        Options Indexes FollowSymLinks MultiViews
        AllowOverride None
        Order allow,deny
        allow from all
</Directory> 

但是我得到这个错误

kafka-consumer-groups --reset-offsets --to-earliest --all-topics --execute --group mygroup --bootstrap-server myserver:9092

我停止了连接以使该组处于非活动状态,但这没用。所以我的问题是,如何使我的小组不活跃

1 个答案:

答案 0 :(得分:1)

--reset-offsets需要在重置偏移量之前检查使用者当前是否处于活动状态。 Stable指示使用者当前处于活动状态,因此无法将偏移量移回原位。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group mygroup --describe

应该给任何活跃的消费者群体(如果有)。输出将帮助您确定当前正在激活的应用程序。一旦使消费者保持活跃的应用程序被杀死,您将能够重置偏移量。

或者,如果您使用的是旧使用者,则可以通过运行

来删除使用者组。
bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --group mygroup --delete

最后重置偏移量。