我们可以在GKE的不同节点池上安排Spark驱动程序和执行程序吗？

Question

在Kubernetes上调度Spark作业时，我们可以为驱动程序和执行程序Pod使用不同的节点池吗？

我已经阅读了spark 2.4.4的文档，但是它只需要一个节点池选择器配置。我本来打算在GKE节点池中使用可兑换的节点，但是我想知道正在运行驱动程序的节点是否关闭，新实例将不会重新运行驱动程序，并且整个作业将失败。

根据文档spark.kubernetes.node.selector.[labelKey]

的当前设置

Answer 1

很遗憾，尚不支持此功能，但是您可以follow the PR提出该功能。