是否可以使用stdout作为流畅的源来捕获特定日志以写入elasticsearch？

Question

我是精通和弹性搜索的菜鸟，我想知道是否可以流利地从stdout捕获特定日志（在这种情况下，我们的应用程序生成的自定义审核日志） - 使用stdout作为源 - 并将它们写入elasticsearch中的特定索引。非常感谢您的回复。

Answer 1

是的，您可以使用流利的exec输入插件来启动您的应用并捕获他们的标准输出。请注意，这意味着流利的将负责启动您的应用程序，这可能是不可取的 - 在这种情况下，如果应用程序已经写入日志文件，您可以设置流利的尾部文件，或者如果您的应用程序日志类似于{{ 1}}你可以吃掉它。如果您可以修改应用程序，也可以让应用程序使用unix套接字或TCP / UDP消息将日志写入流畅，或者将日志发布到HTTP端点。有关输入的不同选项的详细信息和示例，请参阅Input Plugin Overview。

Fluentd可以进一步filter这些日志仅用于自定义审核日志。这可以通过几种方式完成，基于日志内容或其他日志条目属性或某种组合。此外，还有其他插件可以记录某些日志条目，并且仅在满足某些阈值后才会发出。请注意，如果您能够从头开始标记审核消息，则可能甚至不需要解析任何内容，但是如果和如何执行此操作将因使用的输入插件而有所不同。

要将日志发送到Elasticsearch，您可以使用uken/fluent-plugin-elasticsearch's output plugin使用syslog来控制特定索引。