为什么我不能在4040端口看到我的火花作业,即使我看到它在纱线UI中运行?

时间:2017-08-14 23:21:05

标签: apache-spark pyspark yarn

据我了解,我们总能在主节点上的端口4040看到火花作业。

我在纱线上运行火花,我通过spark提交工作。当我进入纱线UI时,我能够看到作业是tuple,当我去RUNNING的火花大师时,我可以看到火花作业被master在历史服务器中。

(当然我没看到它在<master ip>:18081运行,因为我没有独立运行。)
但是,我无法在纱线UI中看到作业在端口4040上运行 enter image description here 工作不会失败 - 它只会永远挂起。我可以看到我的工作人员在火花大师UI中活着。

这是纱线在运行时显示的资源利用率:

如何解决此问题以显示我的火花作业正在运行,或者至少就我的工作是否进展给我一些反馈?

0 个答案:

没有答案