在反向代理后面运行历史记录服务器

时间:2020-06-23 05:35:57

标签: apache-spark

我的用例

  1. 编写一个Docker容器以在端口18080上运行历史记录服务器
  2. 拉出容器并在jupyter笔记本上运行
  3. 通过将spark.ui.proxyBase设置为/ proxy / 18080(在代理之后运行),验证历史记录服务器在https:// {my-instance-domain-name} / proxy / 18080 / applications上是否成功运行 这是屏幕截图 History Serve landing page
  1. 单击应用程序ID之一,链接为https:// {my-instance-domain-name} / proxy / 18080 / history / application_1592874010090_0001 / 1 / jobs /, ,页面将永远加载

我发现此选项spark.ui.proxyRedirectUri可能有用,但是我不确定。有人知道这里发生了什么吗?

1 个答案:

答案 0 :(得分:0)

我曾经使用Nginx和sub_filter config:https://github.com/jahstreet/spark-on-kubernetes-helm/blob/master/charts/spark-cluster/values.yaml#L91-L135解决它。请让我知道是否需要其他说明。