火花作业挂

时间:2018-08-23 05:45:40

标签: scala apache-spark

我正在通过spark-submit命令在纱线簇上运行火花作业。作业开始,但挂在操作步骤上。以下是我为此使用的命令:

spark-submit \
--class com.spark.Inbound \
--name spark-learning \
--deploy-mode cluster \
--queue default \
--conf spark.executor.extraJavaOptions=-
Dlog4j.configuration=file:/home_dir/sam/log4j.properties \
--conf spark.driver.extraJavaOptions=-
Dlog4j.configuration=file:/home_dir/sam/log4j.properties \
--conf spark.logConf=true \
sparkscala_2.11-1.0.jar dev.

   val inputFileData = sparkContext.textFile(sourceConfig.employeeInLocation + "/" + sourceConfig.employeeInFileName)
inputFileData.
.flatMap(data => data.split("\n"))
.foreach(println(_))

在没有log4j属性的情况下运行相同的作业,会成功完成。

spark-submit \
--class com.spark.Inbound \
--name spark-learning \
--deploy-mode cluster \
--queue default \
sparkscala_2.11-1.0.jar dev.

我缺少任何参数吗?

0 个答案:

没有答案