使用TensorFlow2.0并行化输入管道

时间:2019-11-15 16:59:00

标签: python-3.x parallel-processing distributed-computing tensorflow2.0

我们已经使用MultiWorkerMirroredStrategyParameterServerStrategy(多台机器上的多名工人)实施了分布式培训。

问题在于,每个工作人员的每个脚本都提取相同的数据集,然后在工作人员之间共享该数据集,但是我们希望仅将要处理的部分数据直接传递给每个工作人员。有可能吗?

也许我们应该对每台机器执行不同的数据查询,或者其中一个工作人员应该执行此任务,然后将适当的子集传递给其他工作人员?

0 个答案:

没有答案
相关问题