如何处理Logstash中的Kafka生产者错误

Question

如何处理Logstashs Kafka输出插件中的Kafka生产者错误？

output {
  stdout { codec => rubydebug }
  if ("" in [type]) {
    kafka {
    codec => json
    retry_backoff_ms => 5000
    retries => 10
    topic_id => "etl.%{[type]}"
    acks => "all"
    client_id => "%{host}"
    id => "logstash"
    bootstrap_servers => "my-servers"
    }
  }
}

现在，Kafka生产者将永久重试，并基本上挂断Logstash。这是我们当前使用的Logstash配置

ŧest.json

理想情况下，我们想重试10次，然后将失败的消息导出到错误日志中，然后可以重新摄取。