是否有一种简单的方法可以使映射器和缩减器保持运行一段时间？

Question

出于某些测试目的，我想要一个地图缩减作业，最多运行1小时，至少50分钟。实际处理完全无关紧要。

我想知道是否有任何API可以帮助我实现这一目标。理想情况下，我希望生成一些假数据，直到超过时限。

P.S。 ：这个问题仅针对学术兴趣。我完全清楚Map Reduce可能不是针对这些用例而设计的。

Answer 1

您可以使用配置对象

设置作业的最长时间限制

conf.set("mapreduce.task.timeout",3600000); // change the time limit to 1h

在指定的时间结束后，作业将被终止。

Answer 2

我想知道是否可以使用Hadoop。

但通常在Linux中，您使用crontab来执行计划任务。

只需在crontab中设置两个预定命令即可。

1. 启动Hadoop作业
2. 50分钟后停止特定的Hadoop工作。