oozie工作流程中的Pyspark错误

时间:2016-08-05 14:56:04

标签: python apache-spark cloudera oozie hue

我只能访问HUE(3.7.0)界面,通过这个我试图运行一个oozie工作流,其中只包含一个Spark动作来执行python脚本,如下图所示:

my simple oozie workflow

consoli.py文件位于工作空间“/user/hue/oozie/workspaces/hue-oozie-1470040761.25/lib» 不幸的是,我有这个问题(如果我用jar文件而不是python脚本尝试它我没有...):

  

现在调用Spark类>>>

     

python:无法打开文件>'/ opt / yarn / nm / usercache / moet / appcache / application_1460044135313_0530 / container_1> 460044135313_0530_01_000001 / lib / consoli.py':[Errno 2]没有这样的文件或目录    拦截System.exit(2)

我尝试修改workflow.xml以添加<file>标记以强制路径:     <file>/user/hue/oozie/workspaces/hue-oozie-1470040761.25/lib/console.py </file> 但是当我加载这个新的workflow.xml时,Oozie总是在文件中添加这些行:

<global> <job-xml>workflow.xml</job-xml> </global>

工作永无止境...... 最初的workflow.xml(由oozie生成的)是:

<workflow-app name="Consolidation" xmlns="uri:oozie:workflow:0.5"> <start to="spark-839a"/> <kill name="Kill"> <message>L&#39;action a échoué, message d&#39;erreur[${wf:errorMessage(wf:lastErrorNode())}]</message> </kill> <action name="spark-839a"> <spark xmlns="uri:oozie:spark-action:0.1"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <configuration> <property> <name></name> <value></value> </property> <property> <name></name> <value></value> </property> </configuration> <master>local[*]</master> <mode>client</mode> <name>MySpark</name> <class>main</class> <jar>lib/consoli.py</jar> </spark> <ok to="End"/> <error to="Kill"/> </action> <end name="End"/> </workflow-app>

任何帮助将不胜感激:)

0 个答案:

没有答案