我们是否需要修改spark集群工作者的配置？

Question

我确实修改了spark集群驱动程序的配置，例如spark-defaults.conf和spark-env.sh这两个文件。我们是否需要对工人做同样的事情。它似乎没有做那些，但我不确定。

Answer 1

Spark属性（spark-defaults.conf）：

没有。属性是特定于应用程序而不是群集范围，因此必须仅在Spark目录中设置。

环境变量：

是，如果您需要自定义设置。环境变量是机器特定的，不依赖于应用程序。