Spark-Yarn集群模式下的动态资源分配

Question

当我使用以下设置启动spark应用程序时（默认为yarn-client模式）工作正常

spark_memory_setting="--master yarn --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"

问题

然而，当我将部署模式更改为群集时，应用程序无法启动。甚至没有抛出任何错误继续前进。

 spark_memory_setting="--master yarn-cluster --deploy-mode=cluster --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"

LOG

  

18/01/08 01:21:00 WARN客户端：spark.yarn.am.extraJavaOptions不会   在群集模式下生效

这是记录器的最后一行。

欢迎提出任何建议。

这里要强调的一个重要思想是，我尝试部署的spark应用程序启动了apache thrift服务器。在我搜索之后，我认为它的节俭无法在集群模式下运行纱线。任何有关在群集模式下运行的帮助。

Answer 1

选项--master yarn-cluster错误..这不是一个有效的主URL，它应该只是＆＃34; yarn＆＃34;而不是＆＃34;纱线集群＆＃34; ..只是交叉检查..