如何为下一份工作分享或存储以前MapReduce作业的状态？

Question

我想在mapreduce作业结束时存储/更改标志（这会偶尔改变）。这项工作将按计划每30分钟运行一次。因此，首先它将存储标志，然后当作业中的验证失败时，它将改变标志（我希望保持下一个作业的状态），这将在每次执行作业时进行检查。我不太确定存放这面旗帜的最佳方法是什么？

Answer 1

要链接MapReduce作业，请检查：https://developer.yahoo.com/hadoop/tutorial/module4.html#chaining 但是，如果您需要每隔x分钟运行一次作业，请尝试使用Oozie来安排它们。如果您在AWS上检查DataPipeline，它会完全按照您的要求进行操作。