Question

我有一个Spark应用程序，正在尝试使用以下命令在Windows / Unix上执行

spark-submit --class com.myorg.dataquality.DataVerification  --master local[*] C:\Users\workspace\dataQuality\target\data-quality-framework-0.0.1-SNAPSHOT.jar

提交后，作业将立即终止。但是，它在日食中运行完美。

C:\Users>spark-submit --class com.myorg.dataquality.DataVerification  --master local[*] C:\Users\workspace\dataQuality\target\data-quality-framework-0.0.1-SNAPSHOT.jar
        19/09/04 19:33:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
        log4j:WARN No appenders could be found for logger (org.apache.spark.deploy.SparkSubmit$$anon$2).
        log4j:WARN Please initialize the log4j system properly.
        log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
C:\Users>

可能是什么问题

Spark Version 2.4.4
Scala Version 2.11.11

我能够使用Eclipse运行作业，但是我无法在Windows / Linux独立群集上执行该作业。如果我尝试spark-shell，则表示启动正确。

Spark提交作业失败，在本地模式下没有错误

0 个答案: