如何在pytorrch中将.txt文件(语料库)读入torchtext中?
我只看到data.Dataset例如数据集和data.TabularData用于csv,json和tsv。
https://github.com/pytorch/text#data
https://torchtext.readthedocs.io/en/latest/data.html#dataset
如果使用这样的表格数据集读取它,它仍然可以工作:
test_file = data.TabularDataset(path=input_filepath, format='csv', fields=[('text', data.Field())])
但是我的数据集不是表格形式,因此我想检查是否有更好的选择。