Question

我有一个简单的工作流程（见下文），它运行一个shell脚本。 shell脚本运行pyspark脚本，它将文件从本地移动到hdfs文件夹。

当我自己运行shell脚本时，它运行正常，日志通过＆gt;重定向到文件夹。 shell脚本中的spark.txt 2＆gt;＆amp; 1。

但是当我使用以下工作流提交oozie作业时，shell的输出似乎被压制了。我试图重定向所有可能的oozie日志（-verbose -log）＆gt; oozie.txt 2＆gt;＆amp; 1，但它没有帮助。

工作流程已成功完成（状态为SUCCESSEDED，没有错误日志），但我看到，该文件夹未复制到hdfs，但是当我单独运行它（而不是通过oozie）时，一切都很好。

<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.1">
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <configuration>
    <property>
      <name>mapred.job.queue.name</name>
      <value>${queueName}</value>
    </property>
  </configuration>
  <exec>driver-script.sh</exec>
  <argument>s</argument>
  <argument>script.py</argument>
  <!-- arguments for py script -->
  <argument>hdfsPath</argument>
  <argument>localPath</argument>
  <file>driver-script.sh#driver-script.sh</file>
</shell>
<ok to="end"/>
<error to="killAction"/>

很多！

编辑：请参阅我在

下找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx]

Answer 1

对于我在

下找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx]

Oozie从shell作业行动中压制日志记录？

1 个答案: