我正在将TabularDataset
与下面的指定字段一起使用以加载数据集。
fields = [('label', LABEL), ('text', TEXT)]
LABEL = Field(sequential=False, dtype=torch.float32, use_vocab=False, pad_token=None, unk_token=None)
TEXT = data.Field(sequential=True, tokenize=tokenizer, lower=True, use_vocab=True)
是否可以通过lambda x: True if label > threshold else False
结构使用函数(例如Field
)对标签进行每个处理并分配最终标签?我在定义tokenize
时带有标签的情况下,在考虑类似TEXT
函数。