我一直在测试word2vec模型。由于某些原因,这个word2vec模型使用的GPU不多。我的性能大约是每30秒1个纪元,大约有2000个样本数据集。
这似乎不正常。有研究人员拥有数十亿字节的训练数据,我怀疑他们正在等待数月才能完成训练。
我的GPU是gtx970。内存使用率约为10%(请注意,我也打开了一些程序)
问题可能是批次本身,尽管我不确定。
基本上,我在训练开始时就运行一个方法,然后在训练时对列表中的条目进行迭代。
这大致就是我的操作方式。 我的方法错了吗? (我想这不适用于庞大的数据集)
batch_method(batch_size=x) # I tested with different sizes, all seem to train fine, from 2 to 512.
for epo in self.epochs_num:
for batch in self.batch_list:
for input,target in batch:
...