logstash过滤器以解析逗号分隔的日志文件

Question

我有一个如下日志文件：

2019-04-19 08:30:06,477 DEBUG [org.mobicents.smsc.library.CdrGenerator] 2019-04-19 08:30:01.960,466,2,1,01706488575,1,1,success,SMPP,message,3rdPartyName,10614279,null,null,01702993001,412012102179043,null,null,0170260020,0,0,null,0,0,,,,2393,"*466#
nxxxxxxxxxxxxxxx","",,,

我想在logstash上过滤此日志，并且只获取和存储几列。 如您所见，日志列用逗号分隔，我想忽略除以下所有列：

• 第2列中的日期和时间部分（我想将日期和时间作为2个不同的列）
• 第9列和第12列

Answer 1

Logstash有一个CSV filter，它将为您提供字段中的每一列。好处是可以正确解析它。缺点是您必须从事件中删除不需要的列。

您还可以为grok过滤器编写自己的模式。网络上有很多与此有关的示例和教程。