标签: apache-spark hadoop yarn
我已经为我的Spark集群创建了一个节点标签。我总共有10个节点,其中2个被标记为“排他”,其他8个被共享(无标签)。 我有两个队列:
当我运行Spark作业并传递参数mergeIncrementalAggregates.rodbOpts.ConfOptions.rodbGenerationQueueName = default时,我希望将其排定在排他标签分区上,因为默认队列可以访问默认分区中0%的资源(无标签的节点) 。 但是令我惊讶的是,实际上在没有标签的节点上完成了Rodb的生成。