我使用3台机器进行分布式张量流(2名工人和1 ps)。所有人都在同一个集群上。我已将数据放在worker 1上。我的模型运行良好,但它只使用ps和1个worker。 我的问题是如何放置数据以便我的所有工作人员都可以访问它?我应该把它放在像hdfs这样的共享内存中吗?
#!/usr/bin/python3.4
file = open('testfile', 'r+')
readlinebyline = file.readline()
for i in range(0, len(readlinebyline)):
readlinebyline.write(' ' + 'checked')
print('done')
答案 0 :(得分:0)
在此处找到一些相关信息: [1] GRPC causes training to pause in individual worker (distributed tensorflow, synchronised) 看来我们需要创建TFRecords。