Question

Hugging Face documentation describes如何使用Bert模型进行序列分类：

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

input_ids = torch.tensor(tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)).unsqueeze(0)  # Batch size 1
labels = torch.tensor([1]).unsqueeze(0)  # Batch size 1
outputs = model(input_ids, labels=labels)

loss, logits = outputs[:2]

但是，只有批量大小为1的示例。当我们有一组短语并且想要使用更大的批量大小时，如何实现它？

Answer 1

在该示例中，

unsqueeze用于向输入/标签添加维度，因此它是大小为(batch_size, sequence_length)的数组。如果要使用大于1的批处理大小，则可以改为构建序列数组，如以下示例所示：

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

sequences = ["Hello, my dog is cute", "My dog is cute as well"]
input_ids = torch.tensor([tokenizer.encode(sequence, add_special_tokens=True) for sequence in sequences])
labels = torch.tensor([[1], [0]]) # Labels depend on the task
outputs = model(input_ids, labels=labels)

loss, logits = outputs[:2]

在该示例中，两个序列都以相同数量的令牌进行编码，因此很容易构建包含两个序列的张量，但是如果它们具有不同数量的元素，则需要填充序列并告诉模型哪些令牌应该使用注意蒙版关注它（以便忽略填充的值）。

glossary中有一个有关注意口罩的条目，说明其用途和用法。您可以在调用模型的forward方法时将此注意掩码传递给模型。

在Bert序列分类中如何使用大于零的批次大小

1 个答案: