我正在运行Hadoop 1.1.2并成功使用Oozie 3.3.2来运行Java MR作业。 当我在Oozie环境中使用Spark时,我将spark-assembly-1.3.0-hadoop1.0.4.jar放在共享库中。当我执行火花工作时,Oozie无法开始工作并报告:
Oozie Launcher失败,主类[haflow.component.test.test1], main()抛出异常, 组织/火花项目/番石榴/ UTIL /并发/ ThreadFactoryBuilder java.lang.NoClassDefFoundError: 组织/火花项目/番石榴/ util的/并行/ ThreadFactoryBuilder
在“任务日志:' attempt_201506031653_0040_m_000000_0'”中,类路径包含jar,如报告中所示:
/opt/hadoop/tmp/mapred/local/taskTracker/distcache/3086706763921881131_-2028818788_2910849/ip/user/root/share/lib/spark-assembly-1.3.0-hadoop1.0.4.jar
那么,为什么Oozie找不到Spark jar?
此外,'spark-assembly-1.3.0-hadoop1.0.4.jar'也位于/ user / root / share / lib的HDFS中。
但是当我在命令行上尝试它时,它运行成功。
你能告诉我如何解决这个问题吗?