Question

我想在与Spark Master不同的主机上部署documentation（在Docker容器中）。但是Spark Job Server脚本似乎假设它与Spark Master在同一台机器上运行。 E.g：

if [ -z "$SPARK_CONF_DIR" ]; then
  SPARK_CONF_DIR=$SPARK_HOME/conf
fi

# Pull in other env vars in spark config, such as MESOS_NATIVE_LIBRARY
. $SPARK_CONF_DIR/spark-env.sh

在 server_start.sh 部分下面写着：

作业服务器旨在作为一个或多个独立运行进程，与Spark集群分开（虽然很可能是与大师说好。）

是否有人知道server_start.sh脚本如何与另一台托管在Spark作业服务器上的Spark Master一起工作 as ？

Answer 1

您可以在local.conf中设置主URL。请参阅此处获取示例https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/config/local.conf.template#L7

您需要将“local [4]”替换为“spark：// master-node：7077”

Answer 2

除了noorul的回答之外，我想补充一点，你也可以使用＆＃34; yarn-client＆＃34;或者你想要的任何东西。但是，在这种情况下，请考虑您需要设置HADOOP_CONF_DIR或YARN_CONF_DIR。您可以找到更多信息here。然后，您还必须照顾执行作业服务器的用户，以便她能够写入HDFS - 例如，如果使用Yarn。

Spark Job Server是否必须与Spark Master部署在同一主机上？

2 个答案: