Hadoop作业调度查询

Question

我是Hadoop的初学者。

根据我的理解，Hadoop框架以FIFO顺序运行作业（默认调度）。

有没有办法告诉框架在特定时间运行作业？

，有没有办法配置为每天下午3点运行这个工作？

对此的任何意见都非常赞赏。

谢谢，R

Answer 1

如何从外部java调度框架调用作业，比如Quartz？然后，您可以根据需要运行该作业。

Answer 2

您可以考虑使用Oozie（http://yahoo.github.com/oozie/）。它允许（除了其他东西）：

  

频率执行：Oozie工作流规范支持这两种数据   和时间触发。用户可以指定执行频率并等待   数据到达以触发工作流中的操作。

它独立于任何其他Hadoop调度程序，并且应该与它们中的任何一个一起使用，因此您的Hadoop配置中可能没有任何内容会发生变化。

Answer 3

如何让脚本执行Hadoop作业，然后使用at命令在指定的时间执行。如果您希望定期运行作业，可以设置一个cron作业来执行脚本。

Answer 4

如果Cron不削减它和/或自定义工作流程解决方案，我会使用商业调度应用程序。我们使用一种名为jams的解决方案，但请记住它是面向.net的。