使用pytorch Field结构处理标签数据

时间:2019-07-17 10:38:02

标签: nlp pytorch

我正在将TabularDataset与下面的指定字段一起使用以加载数据集。

fields = [('label', LABEL), ('text', TEXT)]
LABEL = Field(sequential=False, dtype=torch.float32, use_vocab=False, pad_token=None, unk_token=None)
TEXT = data.Field(sequential=True, tokenize=tokenizer, lower=True, use_vocab=True)

是否可以通过lambda x: True if label > threshold else False结构使用函数(例如Field)对标签进行每个处理并分配最终标签?我在定义tokenize时带有标签的情况下,在考虑类似TEXT函数。

0 个答案:

没有答案