火炬中的build_vocab的说明及其与预训练的嵌入的关联

时间:2019-11-14 10:35:00

标签: nlp pytorch torchtext

有人可以向我解释什么是火炬中的build_vocab,在线文档尚不清楚吗?我们为什么需要它,并且它与预训练的嵌入物有关?

1 个答案:

答案 0 :(得分:0)

我认为您在此混淆pytorchtorchtext。在torchtext (为自然语言提供处理实用程序和流行数据集的软件包)中,您可以运行build_vocab的{​​{1}}来遍历数据集,以便积累词汇量。

在这里也可以看看:
https://torchtext.readthedocs.io/en/latest/data.html#torchtext.data.Field.build_vocab