spark-defaults.conf可以解析环境变量吗?

时间:2016-01-06 02:04:49

标签: apache-spark

如果我的spark-env.sh文件

中有如下所示的行
export MY_JARS==$(jars=(/my/lib/dir/*.jar); IFS=,; echo "${jars[*]}")

给我一​​个逗号分隔的/my/lib/dir中的jar列表,​​有没有办法指定

spark.jars $MY_JARS

spark-defaults.conf

2 个答案:

答案 0 :(得分:2)

tl; dr 不,它不能,但的解决方案。

Spark将conf文件作为属性文件读取,不需要任何额外的env var替换。

然而,您可以使用MY_JARS(追加)将spark-env.sh的计算值spark-defaults.conf直接写入>>。最后的胜利,所以不用担心会有很多相似的条目。

答案 1 :(得分:0)

我尝试使用Spark 1.4并没有奏效。 spark-defaults.conf 是一个Key / value,看起来似乎没有评估值。