重新启动后,KAFKA主题似乎丢失了

时间:2018-10-23 16:30:49

标签: apache-kafka

已安装KAFKA并查看了以下帖子:

  1. kafka loses all topics on reboot
  2. Kafka topic no longer exists after restart

,然后将kafka日志移动到/ opt ...位置,我仍然注意到,当我重新启动时:

  1. 我可以重新创建主题。
  2. kafka-logs目录包含有关主题,偏移量等的信息,但是它已损坏。

我想知道如何纠正这个问题。

重新启动之前测试新主题可以正常工作。

2 个答案:

答案 0 :(得分:1)

可能存在两个潜在问题

  1. 如果docker中运行的是kafka,则docker image restart始终会清理先前的状态并创建新的集群,因此所有主题都会丢失。

  2. 检查log.dir或Zookeeper数据路径。如果将其中一个设置为/ tmp目录,则它将在每次重新启动时清除。因此,您将丢失所有日志,主题也会丢失。

答案 1 :(得分:0)

在此VM中,我注意到Zookeeper日志是在/ tmp上定义的。将其更改为/ opt(尽管它应该是/ var),并且更正了实例终止时对Kafka数据的清除。不确定如何完全解释这一点。