流利的人是否满足这种需要

Question

目前我正在开发一个开发仪表板消耗ElasticSearch数据的项目，Elasticsearch正在通过python脚本提供，这些脚本以json，data或csv文件的形式从Web应用程序收集这些信息。这些脚本每天都通过cron运行。我的问题是我是否可以使用流利的替换这些脚本。那么Fluentd可以收集信息（检测它们是否是新的，因为其中一些文件没有带时间戳）并将它们输出到ElasticSearch？

Answer 1

是的，这正是使用Fluentd的原因 - 过滤，解析，标记日志文件并将数据推送到ElasticSearch。

从Web应用程序收集信息的python脚本可以用Fluentd替换，然后ElasticSearch可以从Fluentd中提取这些数据。

1. 使用Fluentd将json数据导入ElasticSearch的文档位于https://docs.fluentd.org/v0.12/articles/recipe-json-to-elasticsearch。
2. 所需的fluent-plugin-elasticsearch插件位于https://github.com/uken/fluent-plugin-elasticsearch。
3. Elasticsearch输出插件的文档位于https://docs.fluentd.org/v1.0/articles/out_elasticsearch。
4. 关于如何全部设置的官方流利文档位于https://www.fluentd.org/guides/recipes/elasticsearch-and-s3。