Apache livy 0.5.0是否支持k8s上的火花？

Question

我试图在k8s上运行jupyter以获得火花。

经过小实验：) 我发现

k8s不支持客户端模式

$ bin/spark-shell --master k8s://192.168.99.100:8443
...
...
Error: Client mode is currently not supported for Kubernetes.

那

spark-shell不能在群集模式下运行

$ bin/spark-shell --master k8s://192.168.99.100:8443 --deploy-mode cluster
...
...
Error: Cluster deploy mode is not applicable to Spark shells.

所以我猜想 jupyter spark kernel 或 zeppelin 不能在k8s上运行。 （不确定）

作为一种解决方法，我正在考虑使用livy。

apache livy 0.5.0是否支持k8s上的spark？ 设置火花集群的任何建议将不胜感激。

P.S。我尝试使用GCP dataproc，但是一次丢失了GCS共享便笺（在7天的评估期内，没有任何原因的线索）。我确定这是我的错（也许是在配置上？），但没有深入研究k8s。 ：）

Answer 1

您可以为此尝试定制的livy-0.6.0：https://github.com/apache/incubator-livy/pull/167 我们已经为该项目需要一个解决方案，以便在Kubernetes上运行Spark，并修改了Livy以实现该目的。 您可能对Livy设置的头盔图感兴趣：https://github.com/jahstreet/spark-on-kubernetes-helm