Question

我是新手（截至今天）。我刚安装在Windows中，似乎运行正常。 spark的独立主端口是8080，我需要更改。

我的理解是更改是在conf / spark-env.cmd中进行的。

我在bin目录中看到了load-spark-env.cmd。以以下块结束：

:LoadSparkEnv
if exist "%user_conf_dir%\spark-env.cmd" (
  call "%user_conf_dir%\spark-env.cmd"
 )

但我在conf dir中看不到spark-env.cmd。尽管如此，当我运行时，火花似乎确实干净利落。

有人可以告诉我如何继续吗？

Answer 1

答案是here

集群管理器Spark中的每个集群管理器都有其他配置选项。可以在每种模式的页面上找到配置：#### YARN #### Mesos #### Standalone Mode＃Environment Variables某些Spark设置可以通过环境变量进行配置，这些变量是从conf/spark-env.sh读取的安装Spark的目录中的脚本（或Windows上的conf/spark-env.cmd）。在Standalone和Mesos模式下，此文件可以提供机器特定信息，例如主机名。它还在运行本地Spark应用程序或提交脚本时获取。请注意，安装Spark时，默认情况下不存在conf/spark-env.sh。但是，您可以复制conf/spark-env.sh.template来创建它。确保使副本可执行。可以在spark-env.sh：
中设置以下变量

在Windows上更改spark独立主端口

1 个答案: