我制作了只有1个工作节点的纱线集群，当我提交我的火花应用程序工作时它似乎工作正常。当我提交多个作业时，作业将在hadoop队列中逐个处理提交的应用程序。我希望并行处理我的应用程序，而不是逐个处理。这有什么配置吗？或者无法在纱线上做到这一点？
答案 0 :(得分：0)
Yarn默认提交作业。 要提交多个作业，您可以更改执行者核心的数量：
spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster
您还可以在yarn-site.xml中更改此属性