据我了解,我们总能在主节点上的端口4040看到火花作业。
我在纱线上运行火花,我通过spark提交工作。当我进入纱线UI时,我能够看到作业是tuple
,当我去RUNNING
的火花大师时,我可以看到火花作业被master在历史服务器中。
(当然我没看到它在<master ip>:18081
运行,因为我没有独立运行。)
但是,我无法在纱线UI中看到作业在端口4040上运行
工作不会失败 - 它只会永远挂起。我可以看到我的工作人员在火花大师UI中活着。
这是纱线在运行时显示的资源利用率:
如何解决此问题以显示我的火花作业正在运行,或者至少就我的工作是否进展给我一些反馈?