有哪些方法可以检查mapreduce程序是否成功运行

Question

如果我们需要自动化mapreduce程序或从脚本运行，有哪些不同方法可以检查mapreduce程序是否成功运行？一种方法是找到是否在输出目录中创建了_SUCCESS文件。命令“hadoop jar program.jar hdfs：/input.txt hdfs：/ output”是否根据成功或失败返回0或1？

Answer 1

就像Linux中的任何其他命令一样，您可以检查a的退出状态 使用内置变量 $？的 hadoop jar 命令。

您可以使用： echo $?
执行 hadoop jar 命令后检查其状态。

退出状态值从0到255不等。退出状态为零意味着命令执行成功，而非零值表示命令失败。

编辑：要了解如何实现自动化或从脚本运行，请参阅Hadoop job fails when invoked by cron。