似乎apache oozie目前不支持Spark工作,对吗?任何方式将火花工作整合到oozie中?
答案 0 :(得分:1)
您始终可以将spark作为Java操作执行。或者您也可以在oozie中使用spark动作,请参阅此链接,其中包含有关火花动作的详细信息 - https://github.com/apache/oozie/blob/master/client/src/main/resources/spark-action-0.1.xsd
<java>
<main-class>org.apache.spark.deploy.SparkSubmit</main-class>
<arg>--class</arg>
<arg>${spark_main_class}</arg>
<arg>--deploy-mode</arg>
<arg>cluster</arg>
<arg>--master</arg>
<arg>yarn</arg>
<arg>--queue</arg>
<arg>${queue_name}</arg> -> depends on your oozie config
<arg>--num-executors</arg>
<arg>${spark_num_executors}</arg>
<arg>--executor-cores</arg>
<arg>${spark_executor_cores}</arg>
<arg>${spark_app_file}</arg>
<arg>${input}</arg> -> some arg
<arg>${output}</arg>-> some other arg
<file>${spark_app_file}</file>
<file>${name_node}/user/spark/share/lib/spark-assembly.jar</file>
</java>
答案 1 :(得分:1)
Oozie对Spark的支持即将到来,see the Jira,目前仅限于主干。
否则,选项会将其作为Java或Shell操作运行。