我有大约1.4 GB的训练集,但是无法将其加载到TabularDataset中。
>>> REF = data.Field(lower=True, tokenize=tokenize_char, init_token='<sos>',eos_token='<eos>')
>>> SRC = data.Field(lower=True, tokenize=tokenize_char)
>>> train = data.TabularDataset('./train.csv', format='csv', fields= [('src', SRC), ('ref', REF)])
Killed
对于小型数据集,此代码可以正常工作。我真的不理解为什么进程被杀死,因为数据集不是很大。知道如何加载该文件吗?谢谢!