用oozie触发Pig工作

时间:2012-10-31 09:58:40

标签: java hadoop mapreduce apache-pig oozie

我有一个使用registerQuery()类的PigServer方法嵌入了猪语句的java代码。现在我准备了一个jar,我可以将其作为hadoop jar jarname运行,但问题是如何使用oozie调度程序触发相同的作业。虽然它是内部地图减少工作,我们不能称之为地图减少行动。同样,因为它不是猪行动,我们也不能这样做。用oozie运行这样的任务是否可能?安排这样一项任务的最佳方法是什么?

2 个答案:

答案 0 :(得分:0)

似乎你想要做的事情不是Oozie支持的功能的一部分。由于您的任务既不是典型的Java Map Reduce也不是pig操作,您最好使用操作系统提供的crontab功能来安排作业或使用Spring调度程序。

还有一个Hadoop的Spring发行版,称为Spring Data - Apache Hadoop,它提供了内置的调度功能。

答案 1 :(得分:0)

Oozie MapReduce行动的目的是运行像#hadoop jar ...'这样的工作。

该文档对其进行了详细介绍,并通​​过一些Hue tutorials演示了如何运行Oozie作业。