在纱线中找不到火花提交完成的工作

Question

我使用select distinct "column1" where "column2" = "value2 and "column3" = "value3提交了一份工作，该工作正确完成，但未显示在纱线中。

如何直接在Yarn中查看过程？我已经指定了yarn client模式，但是在yarn web控制台中什么也没看到。

Answer 1

基于this other Stack Overflow thread，yarn application -list -appStates FINISHED可以完成这项工作。同样在同一线程中，您将找到另一个可能的原因：

  

事实证明，我已在YARN中启用了日志聚合，但已将 yarn.nodemanager.remote-app-log-dir 设置为自定义hdfs目录（/ tmp / yarnlogs），因此日志实际上是在HDFS的/ tmp / yarnlogs上聚合的，但是yarn命令仍在HDFS的默认位置（/ tmp / logs）搜索日志。因此，将属性更改为默认值对我来说就是固定的。

希望有帮助！