在Mesos中设置Spark执行程序的主机名

时间:2017-01-17 04:47:58

标签: apache-spark mesos

我需要为从Mesos粗粒度模式启动的Spark执行器配置主机名。默认情况下,IP显示主机名。

Spark UI以验证执行程序主机名 1

  

单独站立,我能够通过设置来解决这个问题   SPARK_LOCAL_HOSTNAME - 每个工作节点中的环境变量。但在梅索斯,我被困住了。

我尝试配置以下选项,但没有效果

  1. 在spark会话中设置spark.executorEnv.SPARK_LOCAL_HOSTNAME = $ HOSTNAME(Spark conf)
  2. 在部署期间在spark执行器uri中指定的spark tarball中的sparkEnv.sh中设置SPARK_LOCAL_HOSTNAME = $ HOSTNAME

0 个答案:

没有答案