我是Tensorflow的新手,这些天我试图以一种不同的方式在TF上运行模型时陷入困境。当我经历Distributed TensorFlow时,我知道如何指定哪些操作需要放在哪些设备上。
但我想要的是,给定数据流图和多台机器上的一组设备,TF可以自行确定应该如何拆分该图以及应该放置每个部件的位置。
但我找不到合适的解决办法。所以我不知道 1.如果TF可以自动拆分数据流图并将每个部件放到多台机器上? 2.我应该如何编写代码?一个例子会很有帮助!
答案 0 :(得分:0)
TF有自己的方式将图表的不同部分放在不同的设备上(不一定是机器,因为1个GPU计为1个设备,但1个机器可能有8个GPU)。变量/操作放置背后的机制与成本估算和一些启发式指标有关,这些指标在TF white paper中有描述。