我已经知道spark.storage.memoryFraction和spark.storage.safteyFraction乘以sparkcontext中提供的执行程序内存。另外，我已经了解到需要降低memoryFraction以获得更好的性能。
问题是我在哪里设置spark.storage.memoryFraction？有配置文件吗？
答案 0 :(得分：1)
Spark搜索此类配置的默认文件为conf/spark-defaults.conf
如果您想将目录conf更改为自定义位置，请在SPARK_CONF_DIR
conf/spark-env.sh
答案 1 :(得分：0)
我建议你保持每个作业而不是updatring spark-defaults.conf 你可以为每个作业创建一个配置文件，比如spark.properties并将其传递给spark-submit
- properties-file /spark.properties