logstash-> kafka-> logstash-> elasticsearch删除一些日志

时间:2015-09-16 04:38:10

标签: elasticsearch logstash apache-kafka

我有logstash->kafka->logstash->elasticsearch设置。 logstash正在跟踪日志文件。此日志文件将附加到bunyan中的nodejs,并且所有内容都设置为json格式/编解码器。在我看来,任何包含空数组的日志条目都无法传递到目的地。有谁知道问题是什么? kafka是不是设计用于带有空列表的json对象? logstash kafka输出插件非常新,有与此相关的已知问题吗?我无法从谷歌搜索中找到任何东西......

1 个答案:

答案 0 :(得分:2)

我会做两件事来检查问题的根源:

  • 将文件追加器添加到第一个logstash,然后检查是否正在将空数组写入文件。架构看起来像这样: logstash - > file,kafka - > logstash - > elasticsearch
  • 自己阅读kafka主题并检查是否正在写入空数组。您可以使用Apache Kafka Python Plugin
  • 执行此操作

这样,您可以检查问题是否在logstash插件端(更有可能)或kafka端(不太可能因为kafka基本上只是读/写字节,并且不熟悉内容本身)。