如何在同一台机器上的不同GPU上并行运行多个TensorFlow实例？

Question

让我们假装我并行启动以下命令，以便在同一台机器上同时训练许多TensorFlow模型：

• python3 launch_training.py --gpu 0
• python3 launch_training.py --gpu 1
• python3 launch_training.py --gpu 2
• python3 launch_training.py --gpu 3
• python3 launch_training.py --gpu 4
• python3 launch_training.py --gpu 5
• python3 launch_training.py --gpu 6
• python3 launch_training.py --gpu 7

让我们假设在launch_training.py内，创建TensorFlow图和会话，并使用以下上下文：with tf.device('/gpu:0'):，以及0被适当替换的位置--gpu索引参数）。

这会有用吗？如果没有，我必须采取哪些步骤来完成这项工作？我想在租用GPU之前知道这一点。

Answer 1

您必须使用with tf.device('gpu:N')指定一个gpu设备，其中N是设备索引。首先阅读https://www.tensorflow.org/programmers_guide/using_gpu和https://github.com/carla-simulator/carla/issues/116

我认为你很困惑在不同的GPU上多次运行相同的脚本并使用多个GPU运行一个脚本。在前一种情况下，请阅读TensorFlow指南中的“在多GPU系统上使用单个GPU”部分，后者是“使用多个GPU”。