分布式tensorflow保存数据的位置

时间:2017-11-02 16:54:53

标签: tensorflow distributed

我使用3台机器进行分布式张量流(2名工人和1 ps)。所有人都在同一个集群上。我已将数据放在worker 1上。我的模型运行良好,但它只使用ps和1个worker。 我的问题是如何放置数据以便我的所有工作人员都可以访问它?我应该把它放在像hdfs这样的共享内存中吗?

#!/usr/bin/python3.4

file = open('testfile', 'r+')

readlinebyline = file.readline()

for i in range(0, len(readlinebyline)):
 readlinebyline.write(' ' + 'checked')

print('done')

1 个答案:

答案 0 :(得分:0)

在此处找到一些相关信息: [1] GRPC causes training to pause in individual worker (distributed tensorflow, synchronised) 看来我们需要创建TFRecords。