PySpark：使用--jars添加外部JAR不起作用

Question

我试图将依赖外部JAR的PySpark作业提交到YARN集群，

spark-submit <py file> --master yarn --jars <jar url>

，但是对于应该在外部JAR中的类，该作业失败，并显示ClassNotFoundException。如何调试此问题？

这似乎是PySpark特有的问题，因为如果我在Scala中写工作并用--jars <url>提交，则它可以工作。