运行独立的MapReduce作业

Question

作为安排一系列作业的一部分，是否存在使用以下命令从边缘节点运行MapReduce作业的风险：

hadoop jar <jar_location> <job_name> -libjars <location of dependent jars> -D mapreduce.job.reduces=0 -D mapreduce.map.speculative=false <location of input data> <location for output>

Answer 1

如果在Shell脚本中注意作业之间的调度，输入/输出文件夹，作业执行状态等相关性，则不会有任何风险，该脚本具有根据您的要求触发所有作业的实现

通常，如果尚未设计Oozie工作流程，他们会在开发环境中执行此操作。