标签： apache-spark yarn
在通过spark-submit提交作业时，是否可以传递spark配置参数，如果在给定时间内未获得容器，它将杀死/失败作业？ 例如，如果工作要求提供8个纱线容器，而该容器不能分配2小时，则该工作会自行杀死。
编辑：我们有在群集上启动spark或MR作业的脚本。对于MR作业，此问题不是主要问题，因为即使有1个容器可用，它们也可以开始。此外，MR作业需要更少的内存，因此它们的容器可以更小，因此群集中可以使用更多的容器。