我需要为从Mesos粗粒度模式启动的Spark执行器配置主机名。默认情况下,IP显示主机名。
Spark UI以验证执行程序主机名
单独站立,我能够通过设置来解决这个问题
SPARK_LOCAL_HOSTNAME - 每个工作节点中的环境变量。但在梅索斯,我被困住了。
我尝试配置以下选项,但没有效果
- 在spark会话中设置spark.executorEnv.SPARK_LOCAL_HOSTNAME = $ HOSTNAME(Spark conf)
- 在部署期间在spark执行器uri中指定的spark tarball中的sparkEnv.sh中设置SPARK_LOCAL_HOSTNAME = $ HOSTNAME
醇>