Spark 2.1.0反向代理无法正常工作

时间:2017-01-29 22:37:29

标签: apache-spark proxy

我试图代理各个火花应用程序。这意味着我需要为每个spark应用程序获得一个UI。为此,我使用了spark reverse proxy功能。因此,如果我在http://localhost:8080运行了我的spark主UI,当我点击此spark UI中的一个应用程序名称时,我被重定向到http://localhost:8080/proxy/ {application-id} / jobs / application-id是我尝试访问的spark应用程序的应用程序ID。一切看起来都不错,我得到了这个特定应用程序的spark作业UI以及其他一些显示的选项卡。但是当我点击另一个标签时,例如"环境"我已重定向到http://localhost:8080/environment而不是http://localhost/proxy/ {application-id} / environment /

这是我在spark-defaults.conf文件中添加的单行

spark.ui.reverseProxy=true

我在独立模式下使用spark 2.1.0并部署一些示例应用程序来重现该问题。任何线索?如何在没有此问题的情况下使此代理工作?感谢。

1 个答案:

答案 0 :(得分:0)

我有这个问题。

确保您向所有主人,工作人员和驱动程序正确提供spark.ui.reverseProxyspark.ui.reverseProxyUrl属性。

在我的情况下,我使用了来自远程计算机的spark-submit(群集模式),忘记更新我提交的计算机上的本地spark-defaults.conf