使用自定义Spark版本启动Oozie作业

Question

我正在尝试通过HDP 2.6.1集群上的oozie运行Spark作业。最初安装的Spark版本为1.6.1和2.1.1。我通过sharelibupdate添加了2.3.0预先构建的软件包（Hadoop 2.7及更高版本）版本（通过创建一个目录，在其中复制了所有spark 2.3.0 jar和Oozie jar），但是遇到了此错误：<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script> <select id="quantity"> <option>1</option> <option>2</option> <option>3</option> <option>4</option> </select> < / p>

我正在Spark集群模式下运行spark。

有人遇到过这个问题吗？甚至可以添加这样的spark版本吗？

Answer 1

我找到了解决方案。它与this .itemconfig(Your Item Name, state=HIDDEN)个已知问题有关。我只需要添加一个spark属性Oozie到spark 2.3.0 jars的路径