Log Parser:连续解析充满日志文件的文件夹

时间:2014-03-17 21:39:40

标签: parsing logging logparser

问题

假设有一个文件夹A,其中包含来自应用程序的日志文件。日志记录逻辑创建一个新的日志文件以写入每小时。我保留3个月的数据。因此,任何时候该文件夹中可能有10k个日志文件。 我有查询使用Log parser 2.2解析文件,但问题是我需要将解析后的数据连续导出到SQL。

例如,最初我解析当时存在的所有内容并将其导出到SQL。

从下一次开始,我只想解析以前没有解析过的新内容。新东西可能在一个新文件中(在这种情况下我可以解析新文件)但也可能是某些新条目已经附加到我已经解析过的文件之一。

是否有一种简单的方法来解析后者中的新信息?

替代地

当涉及多个文件时,LogParser是否有办法仅根据时间戳信息解析新内容? 我可以在查询中放置一个基于时间戳过滤的where子句,但它是否足够智能,不能查看比给定时间戳更旧的数据?

1 个答案:

答案 0 :(得分:2)

看起来我看起来不够努力。

使用日志解析器进行连续/实时解析的答案是" -icheckpoint"开关。它保存了之前解析了多少信息,因此当再次执行相同的查询时,日志解析器不必重复它。

请查看此链接以获取更明确的示例

https://www.simple-talk.com/blogs/2010/06/28/using-logparser-part-4/