Spark Scheduler在K8s环境中如何工作?

时间:2019-06-13 17:23:33

标签: apache-spark kubernetes scheduler

这是场景:

在K8s环境(eks)中运行10节点Spark集群。 我希望客户A始终使用前5个节点(node1,2、3、4、5),客户B始终使用后5个节点。

我不认为K8s Affinity在这里可以帮到我,因为Spark Scheduler拥有它自己的思想。

1 个答案:

答案 0 :(得分:0)

Spark节点!= kubernetes节点,因此毫无疑问可以向k8s调度程序提示如何调度特定Pod的(anti)亲和力。

您是否不能仅部署两个独立的Spark集群并让客户A访问第一个集群(例如1个主设备和5个工作人员),并且为客户B同样提供访问权限?

如果您想尝试这种情况,请同时检查我的https://github.com/radanalyticsio/spark-operator