查看/分析/过滤大量跟踪/日志文件的最佳方法是什么?

时间:2010-03-18 15:04:56

标签: testing analysis

这似乎是一个反复出现的问题: 我们会收到有关我们软件的错误报告以及大量的痕迹或日志文件 因为随着时间的推移可视化日志消息/事件,查找错误会更容易,所以使用可以在图表等中显示事件进展的工具会很方便。 (例如,wireshark(http://www.wireshark.org)用于分析网络流量)

您为此目的使用了什么工具?

我到目前为止使用的大多数工具的问题是,当你为它们提供巨大的数据跟踪时,它们会被无情地分解(> 1GB) 所以这种工具的一些标准是:

  • 可以处理巨大的输入文件(> 1 GB)
  • 非常快(因此您无需在加载文件时获取咖啡)
  • 有某种过滤机制

2 个答案:

答案 0 :(得分:2)

这方面很好。蒂姆·布雷(以前曾在谷歌的Sun公司)几年前参加了一场比赛,他们编写脚本来制作日志文件: http://www.tbray.org/ongoing/When/200x/2007/09/20/Wide-Finder

IMHO mpi4py现在是实施时间,运行时间和可扩展性的最佳解决方案。

另外,考虑用AWK去oldskool。在最近的一次竞赛中,它击败了C / C ++ / Java, http://anyall.org/blog/2009/09/dont-mawk-awk-the-fastest-and-most-elegant-big-data-munging-language/

答案 1 :(得分:0)

由于每个日志文件都有自己的格式,我担心没有满足您需求的现成组件;你必须编写自己的可视化工具。