是否可以使用正则表达式为Spark任务分配主机

Question

以纱线模式闪烁，集群具有节点，例如nodeA-xx和nodeB-xx，是否有任何配置可启动在名为nodeA- *的主机上运行的任务

Answer 1

如果使用的是Capacity Scheduler，则需要启用称为“节点标签”的功能。 YARN Node Labels不允许您指定正则表达式。取而代之的是，您必须标记节点，然后将此标记指定为队列的资源，然后最后针对特定队列运行作业。