BERT NER Python

Question

我将BERT模型用于命名实体识别任务。 我有割炬版本-1.2.0+cu9.2 火炬视觉版本-0.4.0+cu9.2 与CUDA 9.2兼容的Nvidia驱动程序

当我尝试使用命令训练模型时

loss, scores = model(b_input_ids.type(torch.cuda.LongTensor), token_type_ids=None,attention_mask=b_input_mask.to(device), labels=b_labels.type(torch.cuda.LongTensor))

我收到以下错误-

C:/w/1/s/windows/pytorch/aten/src/THC/THCTensorIndex.cu:361: block: [35,0,0], thread: [0,0,0] Assertion `srcIndex < srcSelectDimSize` failed.

有人可以帮我吗？

Answer 1

一些搜索为following hint提供了以下建议：

这是由于嵌入矩阵中的索引超出范围。

如果使用nn.Embedding层看到此错误，则可以添加一条打印语句，该语句显示每个输入的最小值和最大值。某些批次的索引可能超出范围。 一旦找到错误的批处理，就应该看看它是如何创建的，以便可以纠正此错误。

没有看到您的代码，没有人能够提供更多帮助。