Tensorflow联合的大型数据集处理

时间:2019-03-24 00:22:23

标签: tensorflow-federated

为Tensorflow联合模拟准备ImageNet(或其他大数据集)的有效方法是什么?特别是在tf.Dataset对象上应用自定义地图功能?我查看了教程和文档,但没有发现对本用例有用的任何东西。本教程(https://www.tensorflow.org/federated/tutorials/custom_federated_algorithms_2)显示了MNIST处理,但是该数据集相对较小。

1 个答案:

答案 0 :(得分:1)

在此情况下,您能否澄清“有效”的确切含义。我想您已经尝试了一些方法,但未按预期工作。您能否在这里描述您如何进行设置以及遇到什么问题。谢谢!

要注意的一件事是,第一版中包含的运行时仅适用于内存中的数据集。也许这就是您遇到的限制。