如何格式化filebeat中的日志

Question

我对filebeat和elasticsearch很新。我正在做一个爱好项目，我想解析我的数据文件。每个数据文件包含如下所述格式的信息，

<name>
<question>
<ans1>
<ans2>
<ans3>
..etc

我想读取这些数据并存储在

中

{
 id : <separate_id_for_each_file>,
 name: <name>,
 question: <question>,
 ans1: <ans1>, ..etc
}

如何使用filebeat执行此操作？

Answer 1

截至目前，您无法使用filebeat执行此操作。 您需要将日志发送到logstash，然后将其转换为grok插件，然后将其发送到弹性，如果您希望在日志中添加ID，则可以使用类似于uuid插件在发送给grok之前。 Filebeat的目的只是为了收获女巫会读取你的日志并发送然后前进

所以你的流程就像：filebeat＆gt; LOGSTASH [uuid，grok]＆gt; ElasticSearch

如果您需要grok模式的示例，这些可能很有用： grok模式的集合： https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns

Grok模式测试仪： http://grokconstructor.appspot.com/do/match