标签: python-3.x parallel-processing distributed-computing tensorflow2.0
我们已经使用MultiWorkerMirroredStrategy和ParameterServerStrategy(多台机器上的多名工人)实施了分布式培训。
MultiWorkerMirroredStrategy
ParameterServerStrategy
问题在于,每个工作人员的每个脚本都提取相同的数据集,然后在工作人员之间共享该数据集,但是我们希望仅将要处理的部分数据直接传递给每个工作人员。有可能吗?
也许我们应该对每台机器执行不同的数据查询,或者其中一个工作人员应该执行此任务,然后将适当的子集传递给其他工作人员?