尝试在2个奴隶和1个主盒子上设置kafka时,得到了一个奇怪的情况,我无法消费或产生一个主题。
使用 Mirror Maker 在 slave< - >之间同步数据主即可。获取以下日志无休止:
[2016-08-26 14:28:33,897] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:43,415] WARN Bootstrap broker localhost:9092断开连接 (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:45,118] WARN引导代理localhost:9092已断开连接 (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:46,721] WARN引导代理localhost:9092已断开连接 (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:48,324] WARN引导代理localhost:9092已断开连接 (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:49,927] WARN引导代理localhost:9092已断开连接 (org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:53,029] WARN引导代理localhost:9092已断开连接 (org.apache.kafka.clients.NetworkClient)**
我唯一可以恢复的方法是重新启动产生这种日志的Kafka:
[2016-08-26 14:30:55,856] WARN发现一个损坏的索引文件/tmp/kafka-logs/__consumer_offsets-43/00000000000000000000.index, 删除并重建索引...(kafka.log.Log)[2016-08-26 14:30:54,656] INFO在日志中恢复未刷新的段0 __consumer_offsets-43。 (kafka.log.Log)[2016-08-26 14:30:5557] INFO已完成日志__consumer_offsets-43的加载,日志结束偏移量为0 (kafka.log.Log)[2016-08-26 14:30:54,660] WARN发现一个损坏的索引 文件, /tmp/kafka-logs/__consumer_offsets-26/00000000000000000000.index, 删除并重建索引...(kafka.log.Log)[2016-08-26 14:30:54,660] INFO在日志中恢复未刷新的段0 __consumer_offsets-26。 (kafka.log.Log)[2016-08-26 14:30:54,661] INFO已完成日志__consumer_offsets-26的加载,日志结束偏移量为0 (kafka.log.Log)[2016-08-26 14:30:55,864] WARN发现一个损坏的索引 文件, /tmp/kafka-logs/__consumer_offsets-35/00000000000000000000.index, 删除并重建索引...(kafka.log.Log)**
错误使用key发送消息到主题dr_ubr_analytics_limits时出错:null,值:1个字节,错误: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.TimeoutException:无法更新 60000毫秒后的元数据。**
这是我的测试阶段,所以我能够从主盒重新启动并恢复,但我想知道导致此问题的原因以及如何避免。有没有办法调试这个问题?
尝试通过Kafka实现以下