标签: tensorflow
TensorFlow有分布式数据阅读器吗? 如果没有,在多台机器上处理大数据集的建议方法是什么?
分布式初始示例here在多台计算机上预分段数据,然后每个工作程序从可用子集中获取其数据子集。这是唯一支持的方法吗?
似乎here中描述的一些数据读取器是线程安全的,但我找不到任何分布式解决方案。
答案 0 :(得分:2)
我们目前没有TensorFlow中分布式数据读取的通用解决方案,这是一个很难的问题,因为在延迟,大小和分片方面有许多不同的可能要求。我对任何提案或补丁都很感兴趣!