如何使用Spark Operator在Kubernetes上运行Tensorflow-Spark作业?

时间:2019-07-23 16:30:19

标签: apache-spark tensorflow kubernetes horovod

我的团队正在寻找一种使用Kubernetes上的Tensorflow库运行Spark作业的方法。我们使用Spark运算符来在Kubernetes上惯用地运行Spark。

我应该如何使用Spark作业(PySpark + TF)创建一个pod,并使其与Spark Operator k8s资源一起使用?

我探索了Horovod,这是来自Uber的开源深度学习框架。我们不使用GPU进行训练,Horovod似乎比我们的目标更适合那些操作。

0 个答案:

没有答案