如果我的spark-env.sh文件
export MY_JARS==$(jars=(/my/lib/dir/*.jar); IFS=,; echo "${jars[*]}")
给我一个逗号分隔的/my/lib/dir中的jar列表，有没有办法指定
spark.jars $MY_JARS
在spark-defaults.conf？
答案 0 :(得分：2)
tl; dr 不，它不能，但是的解决方案。
Spark将conf文件作为属性文件读取，不需要任何额外的env var替换。
然而，您可以使用MY_JARS（追加）将spark-env.sh的计算值spark-defaults.conf直接写入>>。最后的胜利，所以不用担心会有很多相似的条目。
答案 1 :(得分：0)
我尝试使用Spark 1.4并没有奏效。 spark-defaults.conf 是一个Key / value，看起来似乎没有评估值。