如何在地图/减少工作中找到警告日志？

Question

我们在mapper和reducer阶段记录警告。我想知道是否有任何好方法可以轻松找到包含警告日志的日志，而不是搜索每个日志。 hadoop M / R有什么用的吗？

感谢， 迪安

Answer 1

我不确定你问的是什么，但你可以在提示符上尝试以下命令：

tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning

将在任何具有单词＆＃34; warning＆＃34;的datanode或tasktracker日志文件中输出任何新行。 （无视案例）

如果您要求使用分布式解决方案，您可以通过SSH完成相同的操作

ssh slave1 'tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning

每个奴隶有一行或者循环bash

我希望它有所帮助