当我没有输入整个'train_data'时,如何在pytorch中使用'DataLoader(dataset = Dataset(train_data,train_label))'?

时间:2019-04-16 17:33:00

标签: python out-of-memory pytorch virtual-memory

如何在pytorch编码中使用虚拟内存?我有大量输入数据,但一次不能将所有输入都输入到内存中,而我想在DataLoader中重新整理整个数据库。还是有其他方法可以解决这个问题?

当我尝试将整个“ train_data”输入到内存中时出现内存错误。它太大了。

train_loader = DataLoader(数据集=数据集(train_data,train_label),batch_size =批处理大小,shuffle = True)

我希望直接使用整个“ train_data”,以便可以使用DataLoader简化培训程序,但是出现内存错误。

0 个答案:

没有答案