Question

我有一些巨大的日志文件（50Mb; ~500K行）我需要开始过滤掉一些垃圾。日志文件是使用log4j生成的，其基本模式为：

[log-level] date-time class etc, etc  
log-message

我正在寻找一种方法，我可以识别正则表达式开始和正则表达式结束（或类似的东西），它将过滤掉文件中的匹配条目，以便我可以更轻松地浏览这些大量文件。我的想法是，开始正则表达式将是日志级别，最终正则表达式将成为日志消息中的内容。我确信我可以编写一个java程序来完成这项任务，但我想在走这条路之前我会问社区。提前谢谢。

让我扩展我的问题。假设我的日志文件中有以下代码段：

[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-3

[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-6

我想要一种过滤logEntry1和logEntry2的方法，所以我最终得到：

[DEBUG] date-time class etc, etc  
log-message-3

[DEBUG] date-time class etc, etc  
log-message-6

我希望通过定义一些正则表达式模式对来实现这一点。在上面的例子中，我想为logEntry1定义一对，为logEntry2定义另一对。

我希望这有助于澄清我的问题。

Answer 1

假设log-message-1和log-message-2以及独特的模式。

$ awk -vRS= '!/log-message-[12]/' ORS="\n\n" file
[DEBUG] date-time class etc, etc
log-message-3

[DEBUG] date-time class etc, etc
log-message-6

Answer 2

(zyx:~) % echo $T
[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-3

[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-6
(zyx:~) % echo $T | perl -e '$_=join("", <>); s/\[DEBUG\][^\n]*\n(log-message-1|log-message-2).*?(?=\n\[(DEBUG|WARN)\]|$)//sg; s/\[WARN\].*?(?=\n\[(DEBUG|WARN)\]|$)//sg; print;'


[DEBUG] date-time class etc, etc  
log-message-3



[DEBUG] date-time class etc, etc  
log-message-6

Answer 3

使用awk或awk风格的perl one-liners。

通过定义正则表达式来过滤日志文件

3 个答案: