TensorFlow是否自动并行化图形计算？

Question

是否有关于如何以及是否确实做到的资源？我很好奇图表中是否可以识别依赖项并相应地对其进行并行化。

https://www.tensorflow.org/tutorials/images/deep_cnn

https://www.tensorflow.org/deploy/distributed

https://www.tensorflow.org/guide/faq

https://github.com/google/seq2seq/issues/44

这些对我来说并不明确，因为他们谈论手动执行操作，但是似乎没有解释如何或是否自动并行化图形。

Answer 1

原因是TensorFlow没有提供自动机制来在多个执行单元上分布图，因此假定开发人员自己来做。但是，显然，它会跟踪图形中的所有依赖关系，因此，如果手动进行操作，将确保以正确的顺序计算事物。

如果您想立即使用分布式/多GPU功能，请查看张量包：https://github.com/tensorpack/tensorpack