由于数据集过多,无法保存张量流图

时间:2019-01-31 08:50:59

标签: python tensorflow serialization tensorflow-datasets

我使用estimatorAPI训练模型,但每次都会收到此错误:

InvalidArgumentError: Cannot serialize protocol buffer of type tensorflow.GraphDef as the serialized size (3488492511bytes) would be larger than the limit (2147483647 bytes) 

经过一些研究,我发现问题出在我的数据集中,其中包含约600万个用于训练的数据点。这些对于张量流来说太节省了。 我读到可以对变量进行分区,因此tensorflow可以将一个变量保存在较小的分区中。数据集是否有类似的方法来解决此问题?

0 个答案:

没有答案