Question

我正尝试使用以下命令从spark-shell执行程序

spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera/Desktop/UIDAI-ENR-DETAIL.csv

提示以下错误

<console>:1: error: ';' expected but 'class' found.
       spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master local[*] \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera/Desktop/UIDAI-ENR-DETAIL.csv

谢谢你们！

Answer 1

您不应该从spark-submit或scala REPL运行spark-shell您应该从正常spark-submit或linux-shell运行terminal。

我希望这能解决问题。

Answer 2

spark-submit是用于提交Spark程序的脚本，可在bin目录中使用。它应该从终端运行，而不是从spark-shell运行。

在Windows中，如果env变量更新到％SPARK_HOME％/ bin，则在窗口中，只需打开命令提示符并运行spark-submit。

在Linux中，SPARK_HOME必须位于您的.bashrc中，然后可以从终端运行，否则请提供完整的合格路径，如.... \ spark-submit.sh

Spark执行错误：spark-submit

2 个答案: