Question

根据文档（https://huggingface.co/transformers/master/main_classes/trainer.html#transformers.Trainer），我正在尝试使用Trainer训练模型，我可以指定令牌生成器：

tokenizer（PreTrainedTokenizerBase，可选）–令牌生成器用于预处理数据。如果提供，将用于自动填充批处理输入时，输入的最大长度为沿模型保存，以便更轻松地重新运行被中断的对象训练或重复使用经过微调的模型。

因此应该自动处理填充，但是在尝试运行填充时会出现此错误：

ValueError：无法创建张量，您应该激活使用'padding = True''truncation = True'截断和/或填充具有相同长度的成批张量。

令牌生成器是通过以下方式创建的：

tokenizer = BertTokenizerFast.from_pretrained(pretrained_model)

还有这样的培训师：

trainer = Trainer(
    tokenizer=tokenizer,
    model=model,
    args=training_args,
    train_dataset=train,
    eval_dataset=dev,
    compute_metrics=compute_metrics
)

我尝试将padding和truncation参数放在令牌生成器，Trainer和training_args中。没事有想法吗？

Answer 1

查看您的标记器返回的列。您可能只想将其限制为所需的列。

例如

def preprocess_function(examples):
#function to tokenize the dataset.
if sentence2_key is None:
    return tokenizer(examples[sentence1_key], truncation=True,padding=True)
return tokenizer(examples[sentence1_key], examples[sentence2_key], truncation=True,padding=True)


encoded_dataset = dataset.map(preprocess_function, 
batched=True,load_from_cache_file=False)


#Thing you should do is 

columns_to_return = ['input_ids', 'label', 'attention_mask']
encoded_dataset.set_format(type='torch', columns=columns_to_return)

希望有帮助。

如何使用拥抱脸形变压器批量制作教练垫输入？

1 个答案: