Spark / k8s：如何在客户端模式下在现有kubernetes集群上安装Spark 2.4？

Question

我想在我的Kubernetes集群上安装Apache Spark v2.4 ，但是该版本似乎没有稳定的头盔图。较旧/稳定的图表（针对v1.5.1）存在于

https://github.com/helm/charts/tree/master/stable/spark

如何创建/查找v2.4图表？

然后：需要v2.4的原因是启用客户端模式，因为我希望能够从我的笔记本电脑的开发环境向集群提交（PySpark / Jupyter笔记本）作业。启用客户端模式（包括公开服务）需要采取哪些额外的步骤？

到目前为止，我已经找到了最近的尝试（但是对于Spark v2.0.0），但是我还没有开始尝试，

https://github.com/Uninett/kubernetes-apps/tree/master/spark

在https://github.com/phatak-dev/kubernetes-spark（也已经两年了），没有关于jupyter部署的任何信息。

特定于语言的：https://discourse.jupyter.org/t/spark-integration-documentation/243

SO线程：https://github.com/jupyterhub/zero-to-jupyterhub-k8s/issues/1030

我在此搜索了最新的资源，但没有发现一处可以解决所有问题的内容。如果人们何时能够向我指出这些问题，我将通过其他相关链接来更新此问题。希望有可能将答案拼凑在一起。

和以往一样，非常感谢。

更新：

v2.2的

https://github.com/SnappyDataInc/spark-on-k8s非常容易部署 -看起来很有希望...

Answer 1

请参见https://hub.helm.sh/charts/microsoft/spark，这是基于https://github.com/helm/charts/tree/master/stable/spark的，并使用带有hadoop 3.1的spark 2.4.6。您可以在https://github.com/dbanda/charts上查看此聊天的来源。 Livy服务使通过REST API提交Spark作业变得容易。您也可以使用Zeppelin提交作业。我们将此图表作为在不使用spark-submit k8s模式的情况下在K8s上运行spark的替代方法。希望对您有所帮助。