状态存储卡夫卡开窗错误

时间:2018-07-20 03:36:46

标签: apache-kafka apache-kafka-streams

我们正在使用Kafka流窗口API,并将消息的哈希值存储在状态存储区中长达24小时。目的是即使上游发送事件,也跳过事件的重复处理。一切正常,直到部署几天后,我们在下面看到了日志,并且流光不断重启它。有人可以根据以下日志在哪里出了错吗?

  

2018-07-19 22:41:26.427; LOG_LEVEL =“ WARN”;   SOURCE =“ o.a.k.s.p.i.InternalTopicManager” ;; EVENT_MESSAGE =“无法   创建内部主题:现有内部主题   ced _ ************************************ _ St​​ate_Store-changelog有   无效的分区。预期:16实际:4。使用   “ kafka.tools.StreamsResetter”工具可在清除无效主题之前   处理。重试#1“; 2018-07-19 22:41:26.603; LOG_LEVEL =” WARN“;   SOURCE =“ o.a.k.s.p.i.InternalTopicManager” ;; EVENT_MESSAGE =“无法   创建内部主题:现有内部主题   ced _ ************************************ _ St​​ate_Store-changelog有   无效的分区。预期:16实际:4。使用   “ kafka.tools.StreamsResetter”工具可在清除无效主题之前   处理。重试#2“; 2018-07-19 22:41:26.775; LOG_LEVEL =” WARN“;   SOURCE =“ o.a.k.s.p.i.InternalTopicManager” ;; EVENT_MESSAGE =“无法   创建内部主题:现有内部主题   ced _ ************************************ _ St​​ate_Store-changelog有   无效的分区。预期:16实际:4。使用   “ kafka.tools.StreamsResetter”工具可在清除无效主题之前   处理。重试#3“; 2018-07-19 22:41:27.270; LOG_LEVEL =” WARN“;   SOURCE =“ o.a.k.s.p.i.InternalTopicManager” ;; EVENT_MESSAGE =“无法   创建内部主题:现有内部主题   ced _ ************************************ _ St​​ate_Store-changelog有   无效的分区。预期:16实际:4。使用   “ kafka.tools.StreamsResetter”工具可在清除无效主题之前   处理。重试#4“; 2018-07-19 22:41:27.392; LOG_LEVEL =” WARN“;   SOURCE =“ o.apache.kafka.streams.KafkaStreams” ;;   EVENT_MESSAGE =“流客户端   [ced _ ******* _ payment-4a1d33a3-fd72-409d-93a7-34a7c1519110]所有流   线程已死亡。 Kafka Streams实例将出现错误   状态,应该关闭。“; 2018-07-19 22:41:27.402;   LOG_LEVEL =“ ERROR”; SOURCE =“ a.c.cba.cep.bizevent.KafkaShutDown” ;;   EVENT_MESSAGE =“ Kafka Shutdown Hook:流光正在关闭!!!!”;

0 个答案:

没有答案