我试图代理各个火花应用程序。这意味着我需要为每个spark应用程序获得一个UI。为此,我使用了spark reverse proxy功能。因此,如果我在http://localhost:8080运行了我的spark主UI,当我点击此spark UI中的一个应用程序名称时,我被重定向到http://localhost:8080/proxy/ {application-id} / jobs / application-id是我尝试访问的spark应用程序的应用程序ID。一切看起来都不错,我得到了这个特定应用程序的spark作业UI以及其他一些显示的选项卡。但是当我点击另一个标签时,例如"环境"我已重定向到http://localhost:8080/environment而不是http://localhost/proxy/ {application-id} / environment /
这是我在spark-defaults.conf文件中添加的单行
spark.ui.reverseProxy=true
我在独立模式下使用spark 2.1.0并部署一些示例应用程序来重现该问题。任何线索?如何在没有此问题的情况下使此代理工作?感谢。
答案 0 :(得分:0)
我有这个问题。
确保您向所有主人,工作人员和驱动程序正确提供spark.ui.reverseProxy
和spark.ui.reverseProxyUrl
属性。
在我的情况下,我使用了来自远程计算机的spark-submit
(群集模式),忘记更新我提交的计算机上的本地spark-defaults.conf
。