从oozie以本地模式运行PIG

时间:2015-08-03 10:35:30

标签: hadoop apache-pig oozie

我想在本地模式下运行 PIG ,这非常简单 pig -x local file.pig

我的要求是从 OZZIE 以本地模式运行 PIG ? 我认为 OOZIE 会先自动启动地图任务吗?

2 个答案:

答案 0 :(得分:0)

这是可能的。当一个猪脚本由Oozie运行时,它作为一个map map-reduce作业运行,它只运行pig脚本,后者又运行其他map-reduce作业(当猪以mapred模式运行时)

看来Pig操作配置不允许在本地模式下运行,但您仍然可以使用shell操作类型在本地模式下运行Pig脚本。您只需要确保您的脚本,输入和输出数据都在HDFS中。

答案 1 :(得分:0)

我不认为,我们可以从oozie以本地模式运行猪。 Vishal所写的评论是有道理的。在某些情况下,在数据量较少的情况下,最好以本地模式为猪。要在本地模式下运行,您可以通过编写shell脚本并在crontab中安排它来运行。如果您通过oozie尝试此操作。根据我的知识它不太适合,因为Oozie打算用HDFS运行。

如果你想让oozie运行一些数据。它希望数据在HDFS中(即分布式)。你必须在hdf中使用猪脚本。我想看看AlanGates的帖子,他提到PIG用于处理来自/到HDFS的数据,而hive用于本地到HDFS或HDFS到HDFS。