如何在启动Spark History Server时指定Spark属性？

Question

有没有人知道如何在启动Spark History Server时在<script src="https://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script> <div id="home-img-blocks"> <div data-content="FIND OUT MORE" class="home-img-block"> <img src="http://optimumwebdesigns.com/images/test1.jpg"> <div class="overlay"></div> </div> <div data-content="FIND OUT" class="home-img-block"> <img src="http://optimumwebdesigns.com/images/test2.jpg"> <div class="overlay"></div> </div> <div data-content="FIND" class="home-img-block"> <img src="http://optimumwebdesigns.com/images/test3.jpg"> <div class="overlay"></div> </div> </div>中设置值？

Answer 1

如果使用<SPARK_HOME>/sbin/start-history-server.sh，则无法指定命令行参数，但可以将SPARK_HISTORY_OPTS指定为环境变量，并指定各种环境变量，如： -

export SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.ui.port=9000

但如果您使用的是<SPARK_HOME>/sbin/start-daemon.sh脚本，则可以指定多个命令行选项。像这样： -

<SPARK_HOME>/sbin/spark-daemon.sh start org.apache.spark.deploy.history.HistoryServer -Dspark.history.ui.port=9000

Answer 2

start-history-server.sh接受--properties-file [propertiesFile]命令行选项，使用propertiesFile指定自定义Spark属性。

如果未明确指定，Spark History Server将使用默认配置文件，即conf/spark-defaults.conf。