Question

我想在3个并行的GPU上训练3个不同比例的网络，然后组合这些输出。（有张量流）

我是否需要为每个网络创建图表和相应的会话？如何使这些会话同时运行而不是顺序运行？

Answer 1

我是否需要为每个网络创建图表和相应的会话？

是的，由于网络不完全相同，因此需要单独的图形和会话来创建。

如何使这些会话同时运行而不是顺序运行？

假设您有三个培训脚本train_graph1.py，train_graph2.py，train_graph3.py。你需要同时分别运行所有这些scrips来同时运行。

CUDA_VISIBLE_DEVICES=0, train_graph1.py ....
CUDA_VISIBLE_DEVICES=1, train_graph2.py ....
CUDA_VISIBLE_DEVICES=2, train_graph3.py ....