记录群集

Question

我正在运行基于群集的应用程序（使用Spark，但同样的问题适用于Hadoop）并且希望进行应用程序级别的日志记录（理想情况下使用slf4j）。但是，我希望日志转到中心位置 - 我不想在每台机器上读取单个文件。一个HDFS文件会很棒 - 或者我可以在一个命令中回调和grep。

我该怎么做？

Answer 1

有几种方法可以解决这个问题。 对于罕见/临时搜索，可以使用并行SSH等工具。由于日志量可以基本平行，因此grep可能更有效率 对于监控 - 将日志（错误级别）重定向到LogStash等系统是有意义的，这些系统能够存储和搜索大量日志。