如何在kubernetes集群中自动扩展Spark工作

时间:2018-12-03 15:19:23

标签: apache-spark kubernetes autoscaling

需要有关运行spark / kubernetes的建议。我有Spark 2.3.0,它带有本地kubernetes支持。我正在尝试使用spark-submit和主参数“ kubernetes-apiserver:port”以及其他必需参数(例如spark image和其他as mentioned here)运行spark作业。     如何启用自动缩放/根据负载增加工作节点数?有没有我可以遵循的样本文件?一些基本的示例/文档将非常有帮助。      或者是否有其他方法可以在kubernetes上部署Spark,这可以帮助我实现基于负载的自动扩展。

1 个答案:

答案 0 :(得分:0)

future work after 2.3.0中可以看出,Apache Spark 2.3.0基本上不正式支持K8S集群上的自动缩放。

顺便说一句,它仍然是一个正在开发的功能,但是您可以尝试使用Spark 2.2的k8s分支