Tensorflow模型并行度错误

Question

我实际上想在张量流中自动实现模型并行。

我在版本1.3中稍微纠正了贴装代码（simple_placer.cc）中的tensorflow代码。然而，在MNIST的情况下放置是有效的，但它在开始时有错误。

InvalidArgumentError (see above for traceback): Trying to access resource located in device /job:worker/replica:0/task:1/cpu:0 from device /job:worker/replica:0/task:0/cpu:0

我希望得到一些关于此错误的建议，例如错误出现或出现错误的条件。

感谢。

Answer 1

当某些操作尝试读取其中一个输入时，通常会发生此错误，但该输入恰好位于另一个设备上。通常，当tensorflow将操作放在不同的设备上时，它会将send / recv节点插入执行图中，以在这些设备之间交换张量。你的改变可能已经打破了一些逻辑。