我是spark和oozie技术的新手。 我试图从spark获得一些变量并在下一个oozie动作中使用它。
In＆＃34;决定＆＃34;将调用节点spark提交并完成一些处理并生成计数器变量
例如：来自spark的var counter = 8
所以现在我需要在下一个oozie动作中使用这个变量，这是＆＃34;做出决定＆＃34; 节点
take decision
[Decision ][counter]
当我用Google搜索时，我找到了一些解决方案
1. Write to hdfs
2. Wrap spark submit in shell and use <capture-output>
(I am not able to use this as I use oozie spark action node)
还有其他方法吗？
答案 0 :(得分：0)
最好的方法是将值存储在HDFS（Hive）或HBase / Cassandra中，您的决策操作会读取值。
如果你使用shell动作包装spark-submit，如果你以群集模式提交作业会有问题，因为spark-submit作业到yarn集群并运行你无法获得输出的任何节点。