为什么spark-assembly-1.3.0-hadoop1.0.4.jar无法在Oozie共享库中运行?

时间:2015-07-13 03:21:54

标签: hadoop apache-spark oozie

我正在运行Hadoop 1.1.2并成功使用Oozie 3.3.2来运行Java MR作业。 当我在Oozie环境中使用Spark时,我将spark-assembly-1.3.0-hadoop1.0.4.jar放在共享库中。当我执行火花工作时,Oozie无法开始工作并报告:

  

Oozie Launcher失败,主类[haflow.component.test.test1],   main()抛出异常,   组织/火花项目/番石榴/ UTIL /并发/ ThreadFactoryBuilder   java.lang.NoClassDefFoundError:   组织/火花项目/番石榴/ util的/并行/ ThreadFactoryBuilder

在“任务日志:' attempt_201506031653_0040_m_000000_0'”中,类路径包含jar,如报告中所示:

  

/opt/hadoop/tmp/mapred/local/taskTracker/distcache/3086706763921881131_-2028818788_2910849/ip/user/root/share/lib/spark-assembly-1.3.0-hadoop1.0.4.jar

那么,为什么Oozie找不到Spark jar?

此外,'spark-assembly-1.3.0-hadoop1.0.4.jar'也位于/ user / root / share / lib的HDFS中。

但是当我在命令行上尝试它时,它运行成功。

你能告诉我如何解决这个问题吗?

0 个答案:

没有答案