失败的火花工作没有历史

Question

当我使用spark-submit时，所有成功完成的工作都会留下足够的历史记录。当作业失败时，所有日志都会丢失。从历史链接中，您可以看到

找不到应用程序application_1444757668999_0004。

从应用程序链接

，您会看到日志链接，但它们会导致

java.lang.Exception：未知容器。容器未启动或已完成或根本不属于此节点。

我唯一的线索是nohup.out，因为我在nohup下运行spark-submit。该日志表明执行者开始消亡

错误YarnScheduler：遗失执行人4

如何让纱线完好无损，以便我可以调试？

Answer 1

Spark提交提交申请而不是工作。您可能在YARN中检查应用程序历史记录。如果应用程序无法启动，您自然不会在该处看到任何历史记录。

您可以尝试以 client 模式提交，这样它就可以与Spark作业使用相同的集群，但是Spark驱动程序将位于本地，并且您可以访问日志以检查原因无法启动。

在应用程序中特定的Spark作业失败的情况下，应用程序提交不应显示任何错误，并且您将能够在YARN UI中查看所有应用程序信息。