应用程序的Spark Web UI在完成后变为空

Question

我正在使用在纱线上运行的Spark 1.5.2。

有时，应用程序的Spark Web UI在完成后会变空， 为什么？我该如何解决？

例如，今天我推出了一个pyspark应用程序，并在控制台和Spark Web UI上取得了进展。所以我知道它正确运行，你可以在下面的screeshot上看到：

• The DAG visualizer, when processing

但是在这个过程之后，历史变得空洞：

• The Spark Job History shows an empty history when the application finished the process

脚本完成后，我在控制台上收到以下警告（我不知道它是否与问题有关）：

  

16/05/02 17:36:49 WARN AkkaRpcEndpointRef：错误发送消息[message = RemoveExecutor（2，Yarn已释放执行程序2（容器container_1460361870585_2312_01_000004））] 1次尝试   org.apache.spark.rpc.RpcTimeoutException：收件人[Actor [akka：// sparkDriver / user / CoarseGrainedScheduler＃313705968]]已被终止..此超时由spark.rpc.askTimeout控制   [...]   16/05/02 17:36:51 WARN ReliableDeliverySupervisor：与远程系统[...]的关联失败，地址现在被门控为[5000] ms。原因：[解除关联]   16/05/02 17:36:51 WARN ReliableDeliverySupervisor：与远程系统[...]的关联失败，地址现在被门控为[5000] ms。原因：[解除关联]

Answer 1

从第二个屏幕截图中，它是Jobs页面。您需要单击作业ID链接才能查看作业DAG。