Question

当我描述一个主题时，我会得到以下状态：

➜  local-kafka_2.12-2.0.0 bin/kafka-consumer-groups.sh --bootstrap-server myip:1025 --group mygroup --describe
Consumer group 'mygroup' has no active members.

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
mytopic         0          858             858             0               -               -               -

当我尝试将其重置为最早的时候，我会得到以下状态：

➜  local-kafka_2.12-2.0.0 bin/kafka-consumer-groups.sh --bootstrap-server myip:1025 --group mygroup --topic mytopic --reset-offsets --to-earliest --execute

TOPIC                          PARTITION  NEW-OFFSET
mytopic                        0          494

我希望新的偏移量位于0，而不是494。

问题

1-在describe输出中，当前偏移量显示为858，但是重置为最早的偏移量显示为494。因此会有364的滞后。我的问题是，剩余的494（858-364）偏移量发生了什么？由于该主题的某些配置设置，它们消失了吗？我的retention.ms设置为1周
2-如果494记录不见了，是否有办法以某种方式恢复它们？

Answer 1

如果您可以访问kafka群集的数据目录，则可以使用命令kafka-run-class.bat kafka.tools.DumpLogSegments查看其中的数据。

有关更多信息，请参见此处：https://medium.com/@durgaswaroop/a-practical-introduction-to-kafka-storage-internals-d5b544f6925f

由于日志保留时间或日志大小限制（配置属性log.retention.bytes），您的数据可能已被删除。

为什么我的kafka主题未重置为0？

1 个答案: