工具同步日志文件分发系统

时间:2013-05-30 04:52:03

标签: hadoop distributed apache-storm

我正在多个Linux节点上运行分布式作业。每个节点将数据记录到一个文件中。 我花了很多时间使用ssh连接并单独查看每个日志。

是否有工具可以整合来自不同系统的文件?或者一次查看多个日志的其他方式?

1 个答案:

答案 0 :(得分:4)

我建议查看Splunk,它是管理多个系统中日志文件的绝佳工具,我已经在大型Hadoop系统中使用了一段时间,它基本上会实时汇总数据。您的所有日志,并在UI中为您提供系统的整体视图,因此您无需登录每个系统,您可以在UI中查看所有内容。

它还允许您定义警报,您可以根据需要过滤所有内容并查看各个主机。