标签: apache-spark tensorflow kubernetes horovod
我的团队正在寻找一种使用Kubernetes上的Tensorflow库运行Spark作业的方法。我们使用Spark运算符来在Kubernetes上惯用地运行Spark。
我应该如何使用Spark作业(PySpark + TF)创建一个pod,并使其与Spark Operator k8s资源一起使用?
我探索了Horovod,这是来自Uber的开源深度学习框架。我们不使用GPU进行训练,Horovod似乎比我们的目标更适合那些操作。