将权重/变量存储在二进制文件中,并且仅在进行训练时才加载它们,例如tfrecords?

时间:2019-01-11 20:35:25

标签: python tensorflow

说我有一个权重很大的系统,但一次只训练了几个。

例如,训练1亿个项目的嵌入(例如word2vec),每个项目的嵌入长度为1000。

活动内存中有很多东西,并且会导致很多环境失败。在所有这些嵌入中,每批仅训练了几千个嵌入;因此不必加载所有嵌入。

我希望拥有一个类似于datasetAPI / Tfrecords的系统,其中权重以二进制文件格式存储,直到可以接受训练时再进行训练,然后在进行训练时将其加载,然后将更新后的权重重写为二进制格式。

或者如果Tensorflow中现在有一些变通方法,那就想知道如何做!

0 个答案:

没有答案