如何使用jar文件运行pyspark？

Question

我在运行pyspark时需要附加一个jar文件。如何使用jar文件运行pyspark？以下是我尝试的一些代码，我在这里做错了什么？

script.py有类似的python代码。我想将此作为pyspark应用程序运行。

print "Hello world"

以下运行正常但不在pyspark

上运行

spark-submit --jars somejarfile2.1.0.jar  script.py

代码尝试:(运行但不显示Hello世界的输出）。

pyspark --jar somejarfile2.1.0.jar  script.py

谢谢！

Answer 1

如果要运行Spark作业，则需要使用

spark-submit --master <mode> --jars <jar_file> <code>.py

否则，如果要运行pyspark shell，则需要指定jar。

pyspark --jars JAR1, JAR2, JAR3