Tensorflow在多个GPU上运行推断

Question

我目前正在从目录中加载和运行Tensorflow模型，如下所示：

curr_meta_graph_definition = tf.saved_model.loader.load(
                                                   current_session,
                                                   [tf.saved_model.tag_constants.SERVING],
                                                   path_to_model
                                               )

x_inp = sess.graph.get_tensor_by_name(x_tensor_name)
tflag_op = sess.graph.get_tensor_by_name(training_flag_tensor_name)
y_op = sess.graph.get_tensor_by_name(y_tensor_name)

tmp_output = sess.run(y_op, {x_inp: input_list, tflag_op: False})     

我有一段代码针对3个不同的模型循环运行，后来将输出组合在一起。

无论如何，我可以在多个GPU上运行sess.run（）块，而不是仅在当前使用它吗？

我希望能够理想地在2个GPU上并行运行2个模型，然后在2个GPU之一上并行运行第3个模型（因为我只有2个GPU）。目前，它们都按顺序运行。