无论如何从spark中捕获输出然后将其输入shell？我们目前正在使用scala创建jar文件，并希望我们的spark输出是shell输入。 我的想法是使用$ {wf：actionData（'spark-XXXX'）['var']}我只是不知道如何在spark中实现它。基本上，我的问题是如何从oozie中的spark输出key = value对。
答案 0 :(得分：1)
您可以将sprak作业包装在shell action中，并使用shell脚本中的spark submit。 shell action支持<capture-output>选项，因此您只需将变量打印到控制台：variable_name=value。
然后，作为另一个动作${wf:actionData('shell_action_name')['variable_name']}
我知道这不是那么'干净'，但会起作用，你可以实现与spark action