Apache Spark提供自定义类路径

Question

如何为以群集模式运行的spark应用程序提供自定义类路径（即驱动程序提交，执行程序执行）

spark.driver.userClassPathFirst选项会导致更多类路径冲突。

--conf spark.executor.extraClassPath=foo/bar.jar --conf spark.driver.extraClassPath=foo/bar.jar

我在使用spark-submit时使用了这个，但我没有看到它生效。

foo/bar.jar是否必须存在于执行主机上，或者它是否也可以使用？

Answer 1

如果要根据作业本身将jar复制到所有执行程序，则可以使用--jars。否则你需要复制罐子。

由于 拉维