当我执行 spark-shell 或 spark-submit 命令时
spark-shell --repositories https://myrepository.com/release
--packages com.myrepo:spark-helpers:0.1
完美运作，我可以使用自己的代码。
由于有几个配置文件，如 spark-defaults.properties 和 spark-env.sh ，我认为您可以以某种方式配置此设置。
我发现您应该使用 spark-defaults.properties 中的 spark.jars.ivy 来定义 ivy存储库 {{ 3}}但是，当 spark-submit 默认支持maven时，我不明白为什么我应该使用 ivy 。
答案 0 :(得分：0)
自问这个问题以来已经有一段时间了，spark.jars.ivy spark.jars.ivy已经改变了，但我还是会尝试回答。
spark.jars.ivy=/ivy/cache/for/app1的一个用途是跨群集上的应用程序进行资源隔离。
如果在同一群集上运行的2个spark应用程序需要同一个包的2个不同（可能相互冲突）版本，则可以通过传递spark.jars.ivy=/ivy/cache/for/app2和UIImageView
罐子将被下载到相应的目录中，因此来自各种运行的罐子将被隔离并且不会相互冲突。