如何保证每个工作人员读取ps-worker分发中的重复数据？

Question

我正在尝试TensorFlow分发，根据此处https://www.tensorflow.org/deploy/distributed的文档，我们正在使用数据并行性。我已经安装了ps-worker脚本，它可以按预期启动并运行。 但是有一个查询请帮忙：

如何确保每个工作人员从装入的存储中读取不同的数据？ 例如：

我有数据： 我的存储中的1,2,3,4,5,6,7,8,9,10

和两个工人：worker1和worker2

我假设worker1将读取数据：1、2、5、7、9，而worker2由于数据并行性而读取3、4、6、8、10。 TensorFlow中是否有相关的代码实现这种魔术，如果没有，如何保证每个工作人员从装入的存储中读取不同的数据？

谢谢， 张艾伦

Answer 1

简短的回答是，没有内置的支持来拆分当前“核心”张量流中的数据。有关更多详细信息和原理，请参见此问题的最高答案。

话虽如此，但现在有一个基于DistributionStrategy概念的正在大量开发中的新型清洁器抽象。在此模块中，有一种方法来分发数据集Distributed Training with tf.estimator resulting in more training steps。但是，此模块相当粗糙，并且尚未实现其中的许多部分。除非您感到非常冒险，否则我暂时不建议您使用它。