pytorch TabularDataset:无法加载大文件?

时间:2019-06-27 12:31:37

标签: python deep-learning nlp pytorch torch

我有大约1.4 GB的训练集,但是无法将其加载到TabularDataset中。

>>> REF = data.Field(lower=True, tokenize=tokenize_char, init_token='<sos>',eos_token='<eos>')
>>> SRC = data.Field(lower=True, tokenize=tokenize_char)
>>> train = data.TabularDataset('./train.csv', format='csv', fields= [('src', SRC), ('ref', REF)])
Killed

对于小型数据集,此代码可以正常工作。我真的不理解为什么进程被杀死,因为数据集不是很大。知道如何加载该文件吗?谢谢!

0 个答案:

没有答案