卡夫卡,无法制作和消费活动

时间:2016-08-26 18:04:29

标签: apache-kafka apache-zookeeper production-environment confluent

尝试在2个奴隶和1个主盒子上设置kafka时,得到了一个奇怪的情况,我无法消费或产生一个主题。

使用 Mirror Maker slave< - >之间同步数据主即可。获取以下日志无休止:

  

[2016-08-26 14:28:33,897] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26   14:28:43,415] WARN Bootstrap broker localhost:9092断开连接   (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:45,118]   WARN引导代理localhost:9092已断开连接   (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:46,721]   WARN引导代理localhost:9092已断开连接   (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:48,324]   WARN引导代理localhost:9092已断开连接   (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:49,927]   WARN引导代理localhost:9092已断开连接   (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:53,029]   WARN引导代理localhost:9092已断开连接   (org.apache.kafka.clients.NetworkClient)**

我唯一可以恢复的方法是重新启动产生这种日志的Kafka:

  

[2016-08-26 14:30:55,856] WARN发现一个损坏的索引文件/tmp/kafka-logs/__consumer_offsets-43/00000000000000000000.index,   删除并重建索引...(kafka.log.Log)[2016-08-26   14:30:54,656] INFO在日志中恢复未刷新的段0   __consumer_offsets-43。 (kafka.log.Log)[2016-08-26 14:30:5557] INFO已完成日志__consumer_offsets-43的加载,日志结束偏移量为0   (kafka.log.Log)[2016-08-26 14:30:54,660] WARN发现一个损坏的索引   文件,   /tmp/kafka-logs/__consumer_offsets-26/00000000000000000000.index,   删除并重建索引...(kafka.log.Log)[2016-08-26   14:30:54,660] INFO在日志中恢复未刷新的段0   __consumer_offsets-26。 (kafka.log.Log)[2016-08-26 14:30:54,661] INFO已完成日志__consumer_offsets-26的加载,日志结束偏移量为0   (kafka.log.Log)[2016-08-26 14:30:55,864] WARN发现一个损坏的索引   文件,   /tmp/kafka-logs/__consumer_offsets-35/00000000000000000000.index,   删除并重建索引...(kafka.log.Log)**

     

错误使用key发送消息到主题dr_ubr_analytics_limits时出错:null,值:1个字节,错误:   (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)   org.apache.kafka.common.errors.TimeoutException:无法更新   60000毫秒后的元数据。**

这是我的测试阶段,所以我能够从主盒重新启动并恢复,但我想知道导致此问题的原因以及如何避免。有没有办法调试这个问题?

尝试通过Kafka实现以下

Trying to achieve following

0 个答案:

没有答案