使用Tensorflow在热切模式下进行分布式执行

时间:2019-03-15 04:06:15

标签: tensorflow eager-execution distributed-tensorflow

根据GitHub上最近发布的white paperRFC,tensorflow渴望当前支持分布式执行。值得一提的是,类似于图形模式,我们可以通过将设备名称设置为例如“ / job:training / task:2 / device:GPU:0”来在远程设备上急切地执行操作。但是,我找不到任何有关如何执行此操作的代码示例或教程。

我确实注意到tf.distribute上有很多教程,enter image description here是用于分布式训练的高级API,它同时支持图形模式和渴望模式。但是,我对tf.distribute在幕后模式下如何内幕工作更感兴趣。具体来说,我想知道:

  1. 如何在渴望模式下将客户端连接到远程服务器?

  2. 在紧急模式下何时以及如何指定集群定义?

如果有人可以回答这些问题,我将不胜感激。谢谢!

0 个答案:

没有答案