我在行动中看到的NeuralDataSet
个对象除了XOR之外什么都没有,这只是两个小数据阵列...我还没有找到任何东西来自MLDataSet
的文档。
似乎一切都必须立即加载。但是,我想循环训练数据,直到我达到EOF,然后将其计为1个时代。但是,我所看到的所有数据必须从头开始加载到1个2D数组中。我怎么能绕过这个?
I've read this question, and the answers didn't really help me。除此之外,我还没有在这里找到类似的问题。
答案 0 :(得分:2)
这是可能的,您可以使用支持流操作的数据集的现有实现,也可以在您拥有的任何源上实现自己的实现。以the BasicMLDataSet interface和SQLNeuralDataSet代码为例。如果您有特定的格式,则必须实现编解码器。对于CSV已经有一个实现,我还没有检查它是否是基于内存的。
请记住,在执行此操作时,您的数据将在每个时期完全流式传输,并且从我的经验来看,这是比实际网络计算更高的瓶颈。