火花工作（oozie - hue）陷入运行状态

Question

我有一个将csv转换为镶木地板的火花作业。我试图通过色调的oozie工作流来运行它。这是最简单的工作流程，包括一个步骤（火花程序）。

当我为一个简单的程序jar运行它时（比如hello spark types示例），它通过hue提交时工作正常。

但是当我有一个更大的jar（~96 MB）时，作业就会陷入运行状态。 代码没有问题，因为同一个jar在同一个环境中与spark-submit完美配合，具有相同的条件 - 在客户端模式下运行以简化调试。

此外，通常您可以从日志中查看是否存在某些异常或由于内存问题而挂起作业（连续的'心跳'信息日志）但在这种情况下我甚至无法查看日志。当我手动终止作业时，仍然没有可访问的日志，它说：

  

找不到工作job_1481270830724_0007。

     

{ “的RemoteException”：{ “异常”： “NotFoundException”， “消息”：“java.lang.Exception的：   job，job_1481270830724_0007，不是   发现”， “javaClassName”： “org.apache.hadoop.yarn.webapp.NotFoundException”}}   （错误404）

你能告诉我这可能是什么问题吗？ 是否与为色调分配的内存有关？

Answer 1

您使用的是哪个版本的Hue？我问因为Cloudera的JIRA中有一个错误。 Better handling of expired YARN apps

也许你应该升级Hue的版本。