示例Oozie作业来自Hue,但不是来自命令行:找不到SparkMain

时间:2016-05-24 10:25:10

标签: apache-spark oozie hue

我已成功运行Hue Oozie工作流编辑器(在Cloudera 5.5.1 QuickStart VM中)中提供的示例Spark工作流("通过启动Spark Java程序复制文件")。

我现在尝试使用FILE命令行工具手动运行它:

oozie

工作流XML基本没有变化 - 我已将其复制到HDFS并具有以下oozie job -oozie http://localhost:11000/oozie -config job.properties -run

job.properties

该作业已被接受并显示在Hue Web仪表板中,但几秒后就会被终止,并且日志会报告:

  

启动器异常:java.lang.ClassNotFoundException:未找到类org.apache.oozie.action.hadoop.SparkMain

这里有什么问题?

1 个答案:

答案 0 :(得分:2)

默认情况下,Oozie不包含Spark操作的库 - 您需要将以下内容添加到nameNode=hdfs://localhost:8020 jobTracker=localhost:8032 oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml input=/user/hue/oozie/workspaces/data/sonnets.txt output=here

job.properties

(点击Hue Dashboard中之前成功的Hue工作流程,您可以选择配置选项卡以查看Hue提供的属性)