使用Logstash将数据从Elasticsearch导出到CSV

Question

如何使用Logstash将数据从Elasticsearch导出到CSV？我只需要包含特定的列。

Answer 1

安装2 plugins：elasticsearch input plugin和csv output plugin。 然后创建a configuration file。这是a good example for this particular case。

你现在准备好了，只需跑步：
bin/logstash -f /path/to/logstash-es-to-csv-example.conf

并检查export.csv中指定的output -> csv -> path文件。

Answer 2

重要提示： 使用Logstash 5.x时，csv输出插件中存在一个已知错误。该插件生成一串%{host} %{message}%{host} %{message}%{host} %{message}。 这是一个未解决的问题：https://github.com/logstash-plugins/logstash-output-csv/issues/10

作为一种解决方法，您可以：

• 降级到Logstash 2.x直到此问题得到解决

• 使用文件输出

  file {
      codec => line { format => "%{field1},%{field2}"}
      path => "/path/to/data_export.csv"
  }
  

• 根据github讨论修改插件的代码......