spark-submit在本地模式下空闲

时间:2017-07-05 14:13:44

标签: kerberos cloudera spark-submit

我正在尝试使用spark-submit(Spark 1.6.0)将jar测试到Cloudera集群中,该集群已启用Kerberos。 事实是,如果我启动此命令:

spark-submit --master local --class myDriver myApp.jar -c myConfig.conf

在本地或本地[*]中,过程在几个阶段后停止。但是,如果我使用纱线客户端或纱线群集主模式,则该过程正确结束。该过程将一些文件读入并写入HDFS。

此外,这些痕迹出现:

17/07/05 16:12:51 WARN spark.SparkContext: Requesting executors is only supported in coarse-grained mode
17/07/05 16:12:51 WARN spark.ExecutorAllocationManager: Unable to reach the cluster manager to request 1 total executors!

这肯定是配置问题,但事实是我不知道发生了什么。有任何想法吗?我应该更改哪些配置选项?

0 个答案:

没有答案