Spark：如何修改本地SparkSession的输出目录？

Question

我有以下用于测试的SparkSession：

  SparkSession.builder().master("local").getOrCreate()

每当我运行例如写入数据的单元测试时，例如df.write.csv("foobar")，输出目录将位于我项目的顶层。我知道我可以修改编写器的path参数，但我特别感兴趣的是全局更改根目录（包括读取和写入），而不必在配置之外指定它。

Answer 1

经过多次调试后，我发现了它。只需设置user.dir系统属性即可。 例如：System.setProperty("user.dir", "/tmp")，所有本地表和输出文件都将保存在/tmp中。