td-agent fluentd无法将消息发送到Kafka

Question

我有一个td代理，可以毫无问题地将消息发送到Kafka队列。但是现在我得到以下错误。我没有运气就重新启动了代理。我没有幸运地手动冲洗了缓冲区。

欢迎对幸福感有任何建议

2019-03-20 16:44:06 +0100 [警告]：＃0发生发送异常：无法将消息发送到test-250-events / 0 2019-03-20 16:44:06 +0100 [警告]：＃0异常回溯：/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/ lib / kafka / producer.rb：330：in deliver_messages_with_retries' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:in中的liver_messages'块中 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/instrumenter.rb:23:in instrument' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:281:in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:in write ' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/compat/output.rb:131:in write' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:in try_flush' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1394:in flush_thread_run' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:445:in块（2个级别）开始时 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin_helper/thread.rb:78:in thread_create中的块 2019-03-20 16:44:06 +0100 [info]：＃0初始化的卡夫卡生产商：卡夫卡 2019-03-20 16:44:06 +0100 [警告]：＃0无法刷新缓冲区。 retry_time = 5 next_retry_seconds = 2019-03-20 16:44:05 +0100 chunk =“ 58471660306e5c7712d0c2ff1a546048” error_class = Kafka :: DeliveryFailed error =“无法将消息发送到test-250-events / 0”   2019-03-20 16:44:06 +0100 [警告]：＃0抑制了相同的堆栈跟踪

服务器上的Kafka群集具有连通性：

user @ server：〜$ telnet digital.servicebus.windows.net 9093    尝试13.69.64.0 ...    已连接至digital-dev-01.servicebus.windows.net。    转义字符为'^]'。

提前谢谢

Answer 1

我们遇到完全相同的问题。在Azure北欧的Kubernetes集群中以Kafka输出流畅运行。

3月19日下午1点左右，它刚刚停止在多个集群中工作。

编辑：我们最终找到了解决方案。基本上，请确保您有更高版本的ruby-kafka和/或fluent-kafka-plugin

我们通过在Kubernetes清单中包含此文件实现了这一目标。

容器：       -名称：流利         图片：fluent / fluentd-kubernetes-daemonset：v1.3.3-debian-kafka-1.2         命令：[“ / bin / sh”]         args：[“ -c”，“ cp /fluent-config/*.conf / fluentd / etc / && gem install fluent-plugin-detect-exceptions && gem install fluent-plugin-prometheus && gem update fluent-plugin-kafka && /fluentd/entrypoint.sh“]