在Kubernetes / Mesos中运行YARN集群

Question

我正在使用YARN在spark上运行一组dockerized应用程序，我想知道在Kubernetes中部署集群是否可行，或者Mesos是否是更好的选择？在决定一位经理而不是另一位经理之前，我会非常感谢任何建筑问题。

Answer 1

您可以使用Kubernetes的Apache Livy构建：https://github.com/jahstreet/spark-on-kubernetes-helm。 该设置完全替代了Yarn支持的Spark功能，并在顶部添加了一些其他功能。