说我有一个权重很大的系统,但一次只训练了几个。
例如,训练1亿个项目的嵌入(例如word2vec),每个项目的嵌入长度为1000。
活动内存中有很多东西,并且会导致很多环境失败。在所有这些嵌入中,每批仅训练了几千个嵌入;因此不必加载所有嵌入。
我希望拥有一个类似于datasetAPI / Tfrecords的系统,其中权重以二进制文件格式存储,直到可以接受训练时再进行训练,然后在进行训练时将其加载,然后将更新后的权重重写为二进制格式。
或者如果Tensorflow中现在有一些变通方法,那就想知道如何做!