Spark如何解析字符串中的系统属性（没有字符串插值）？

Question

我在this blog

中看到了以下代码段

val warehouseLocation = "file:${system:user.dir}/spark-warehouse"
val spark = SparkSession
   .builder()
   .appName("SparkSessionZipsExample")
   .config("spark.sql.warehouse.dir", warehouseLocation)
   .enableHiveSupport()
   .getOrCreate()

如何在warehouseLocation值中替换系统属性user.dir。字符串不应该是s"file:${System.getProperty("user.dir")}/spark-warehouse"吗？

Answer 1

是的，file:${system:user.dir}/spark-warehouse 等于 s"file:${System.getProperty("user.dir")}/spark-warehouse"。

在 Spark 中，它已自行实施substitute，并绑定来自env（System.getEnv），system（{{{ 1}}）前缀或自定义配置System.getProperty。