将conf文件添加到Microsoft Azure中的类路径

Question

此问题类似于my other question，但这次是Microsoft Azure。

我们有一个配置文件，该文件需要位于驱动程序（可能是执行程序）的类路径中。

在Microsoft Azure中定义Databricks群集时，我配置了自定义Spark配置： spark.executor.extraClassPath和spark.driver.extraClassPath。我将两个路径都指向了包含我们的配置的dbfs中的目录。但是，有一半人怀疑这是行不通的。

问题是，这些Spark Configs支持哪种类型的路径？如果只是本地文件系统，如何在驱动程序（和执行程序）上获取配置文件？

Answer 1

请注意，该设置区分大小写，我认为您应该将其设置为本地目录，并使用init脚本从dbfs（使用/ dbfs / path语法）将其复制到该目录，以便可以从以下位置以低延迟进行访问JVM。