app退出后如何在HDInsight中查看Spark？

Question

当应用程序运行时，我可以从RM UI查看日志。但是在应用程序退出后，我在尝试查看日志时收到了此消息：

  

尝试将重定向URL构造到日志服务器时失败。   可能未配置Log Server url java.lang.Exception：Unknown   容器。容器要么尚未启动，要么已经完成   或者根本不属于这个节点。

我环顾了我的HDInsight存储，但找不到任何日志文件。

Answer 1

如果您使用 YARN 执行 Spark ，则可以使用其内置日志系统。

根据官方 Spark documentation：

  

如果启用了日志聚合（使用yarn.log-aggregation-enable config），则容器日志将复制到HDFS并在本地计算机上删除。可以使用“yarn logs”命令从群集中的任何位置查看这些日志。

HDInsight 群集支持此类日志记录。要访问它们，可以从命令行使用以下命令：

yarn logs -applicationId <app ID>

要识别应用程序ID，您可能需要访问 Hadoop 用户界面并查找所有应用程序部分：

注意：为了将整个日志输出到文件中，您可能希望将> TextFile.txt附加到上述命令。