使用Scala安装Spark依赖项时是否有配置文件

Question

我在项目依赖环境中使用sbt安装了spark。然后，我想更改spark env的变量，而无需在代码中使用.setMaster()进行更改。问题是我在计算机上找不到任何配置文件。

这是因为即使尝试更改主机名也出现错误：org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@my-mbp.domain_not_set.invalid:50487。因此，我想深入火花库并尝试一些事情。

我几乎尝试了所有关于此的内容，所以发布：Invalid Spark URL in local spark session。

非常感谢

Answer 1

解决此问题的方法：

export SPARK_LOCAL_HOSTNAME=localhost在shell配置文件中（例如~/.bash_profil）

即使在运行sbt之前，即使使用该命令，SBT也无法找到主机。我必须将其放在配置文件中以具有正确的上下文。