捕捉oozie火花动作输出

时间:2018-05-17 16:08:11

标签: shell apache-spark hadoop oozie

我想在Oozie中捕获一个spark作业的控制台输出。我知道oozie spark动作并不支持<capture-output>。所以,由于shell动作支持<capture-output>,我将我的sprak作业包装在一个shell动作中。

我在我的火花程序中打印了一行,如下所示

println("result=this is a pen")

并尝试使用${wf:actionData("action-id")["Variable"]}阅读。但是,我得到了一个空值。

我能够捕获我从上面调用spark作业的shell回显的输出,但不能捕获我在spark程序中打印的值。我在这里缺少什么?

0 个答案:

没有答案