Question

我是起诉Spark行动的新手。

正如Oozie Spark行动页面所述： https://oozie.apache.org/docs/4.2.0/DG_SparkActionExtension.html

jar元素表示以逗号分隔的jar或python文件列表。

所以我补充说： test1.jar，test2.jar

但问题是Oozie根本不认识它。无论如何，如果我只在jar元素中添加一个jar，它确实有效。

为什么Oozie不像他们的文档网站那样工作？

提前致谢！

更多评论：经过长时间的研究，我觉得Oozie不是一个易于使用的工具，但只是花了很多时间学习它。任何人都对其他一些工具有任何建议，这些工具在Hadoop系统中做同样的工作吗？

Answer 1

我有同样的问题，并通过这种方式解决：

在属性中定义：

libDir=${nameNode}${hdfsHomeDir}/lib
sparkLib=${libDir}/sparklib.jar,${libDir}/spark-csv_2.10-1.3.0.jar,${libDir}/commons-csv-1.1.jar

然后

<action name="activeuser">
       <spark xmlns="uri:oozie:spark-action:0.1">
           <jar>${nameNode}${hdfsHomeDir}/lib/${sparkActiveUserJarExe}</jar>
           <spark-opts>--jars ${sparkLib}</spark-opts>
        </spark>
        <ok to="end"/>
        <error to="wl_fail"/>
    </action>

Oozie＆gt;火花动作＆gt;为什么jar元素不接受多个罐子

1 个答案: