跨多台机器的分布式数据阅读器

时间:2016-06-10 23:30:35

标签: tensorflow

TensorFlow有分布式数据阅读器吗? 如果没有,在多台机器上处理大数据集的建议方法是什么?

分布式初始示例here在多台计算机上预分段数据,然后每个工作程序从可用子集中获取其数据子集。这是唯一支持的方法吗?

似乎here中描述的一些数据读取器是线程安全的,但我找不到任何分布式解决方案。

1 个答案:

答案 0 :(得分:2)

我们目前没有TensorFlow中分布式数据读取的通用解决方案,这是一个很难的问题,因为在延迟,大小和分片方面有许多不同的可能要求。我对任何提案或补丁都很感兴趣!