我正在尝试使用spark-submit(Spark 1.6.0)将jar测试到Cloudera集群中,该集群已启用Kerberos。 事实是,如果我启动此命令:
spark-submit --master local --class myDriver myApp.jar -c myConfig.conf
在本地或本地[*]中,过程在几个阶段后停止。但是,如果我使用纱线客户端或纱线群集主模式,则该过程正确结束。该过程将一些文件读入并写入HDFS。
此外,这些痕迹出现:
17/07/05 16:12:51 WARN spark.SparkContext: Requesting executors is only supported in coarse-grained mode
17/07/05 16:12:51 WARN spark.ExecutorAllocationManager: Unable to reach the cluster manager to request 1 total executors!
这肯定是配置问题,但事实是我不知道发生了什么。有任何想法吗?我应该更改哪些配置选项?