我们可以使用张量流实现与MPI相同的计算比例吗？

Question

之所以问这个问题，是因为我在网络上看到了人们使用MPI进行分布式计算以扩展其计算模型的代码。我无法确定的是，我要引用的大多数示例都是用tensorflow编写的。现在考虑到tensorflow已经实现了mpi和gRPC，我要问的问题是我们是否可以仅使用tensorflow而不是使用MPI来实现相同的结果？

换句话说，与MPI和TF相比有什么优缺点？

谢谢！

Answer 1

TF是机器学习框架，而MPI是消息传递库。并行TF基于MPI构建（TF不是MPI的实现）

最重要的是，您不能比较苹果和橘子，也不能比较MPI和TF。