我是机器学习和Tensorflow的新手。我对TensorFlow中的分布式培训有疑问。我已经阅读了有关多GPU环境的信息，而且看起来很有可能（https://www.tensorflow.org/guide/using_gpu）。
但是具有多个GPU的多台计算机呢？是否可以在几台机器之间划分机器训练任务？是否有特定的算法/任务需要进行这样的分配，或者多个GPU足以满足机器学习的需要？对此会有需求吗？
谢谢
答案 0 :(得分：1)
有可能。
您可以在distributed strategies或horovod上使用数据并行性在多台机器上运行同一模型，以加快培训速度。在这种情况下，您将在多台计算机上运行相同的模型以模拟更大的批次。
您也可以使用GPipe或TF-Mesh进行一些不太常规的操作，以在多个计算机上拆分单个模型，以增加模型层的数量，甚至在多个工作人员之间拆分单个层。 >