Spark-submit错误 - 无法从JAR文件加载主类

Question

我正在尝试使用Spark在Hadoop上运行，但我有一个“无法从JAR文件加载主类”错误。

我该如何解决这个问题？

Answer 1

尝试将main.py和其他python文件复制到本地file://路径，而不是将其放在hdfs中。

您还需要从本地目录传递带有--py-files参数的其他python文件。

假设您将python文件复制到要从中启动spark-submit的工作目录，请尝试以下命令：

spark-submit \
 --name "Final Project" \
 --py-files police_reports.py,three_one_one.py,vehicle_volumn_count.py \
 main.py