火花路径配置在Windows上无法正常运行

Question

因此，我想为在Windows上运行的Spark提供jar文件的额外类路径。为此，我在spark-defaults.conf文件中添加了以下两行。对于linux，附加功能可以正常工作，但不适用于Windows。知道为什么吗？

spark.executor.extraClassPath   C:\spark-2.3.2-bin-hadoop2.7\extrajars\*

我也尝试过，但还是没有运气。

spark.executor.extraClassPath   "C:\spark-2.3.2-bin-hadoop2.7\extrajars\*"

Answer 1

请尝试使用\\代替\

spark.executor.extraClassPath   C:\\spark-2.3.2-bin-hadoop2.7\\extrajars\\*

启动spark-shell并测试：

scala> spark.conf.getAll.mkString("\n")

应该有

spark.executor.extraClassPath -> C:\spark-2.3.2-bin-hadoop2.7\extrajars\*

希望，这会有所帮助！