是否有使用多节点多GPU进行分布式TensorFlow训练的示例？

Question

通过在Google上搜索，我可以找到以下两种有关tensorflow训练的部署类型：

• 在单个节点和多个GPU上进行训练，例如CNN;
• 在多个节点上进行分布式培训，例如between-graph replica training;

是否有使用多节点多GPU的示例？具体来说，存在两个并行级别：

1. 在第一层，参数服务器和工作器分布在不同的节点之间；
2. 在第二层，一台机器上的每个工人将使用多个GPU进行培训；

Answer 1

GitHub（link）上的Tensorflow Inception模型文档对不同类型的培训有很好的解释，请确保将其检出及其源代码。

此外，您可以查看此code，它的确以稍微不同的方式分发培训。