我已成功运行Hue Oozie工作流编辑器(在Cloudera 5.5.1 QuickStart VM中)中提供的示例Spark工作流("通过启动Spark Java程序复制文件")。
我现在尝试使用FILE
命令行工具手动运行它:
oozie
工作流XML基本没有变化 - 我已将其复制到HDFS并具有以下oozie job -oozie http://localhost:11000/oozie -config job.properties -run
:
job.properties
该作业已被接受并显示在Hue Web仪表板中,但几秒后就会被终止,并且日志会报告:
启动器异常:java.lang.ClassNotFoundException:未找到类org.apache.oozie.action.hadoop.SparkMain
这里有什么问题?
答案 0 :(得分:2)
默认情况下,Oozie不包含Spark操作的库 - 您需要将以下内容添加到nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml
input=/user/hue/oozie/workspaces/data/sonnets.txt
output=here
:
job.properties
(点击Hue Dashboard中之前成功的Hue工作流程,您可以选择配置选项卡以查看Hue提供的属性)