如何从pytorch调整后的BERT输出logit

Question

我使用huggingface库在pytorch中微调了预训练的BERT模型。

def finetune_BERT():
  ...
  return model

现在我将word2vec嵌入到句子中了。我想将此嵌入传递给此模型，并取回logit。像下面这样

embedding = create_embedding(input_sentences)
logits = model(embedding)

但是，割炬模型需要其他输入参数，这些输入参数来自dataLoader对象的元组。这些参数不完全是word2vec格式。例如

for batch in dataloader:
    batch = tuple(t.to(device) for t in batch)
    b_input_ids, b_input_mask, b_labels = batch
    output = model(b_input_ids, token_type_ids=None,attention_mask=b_input_mask)

关于如何转换word2vec嵌入以适合此格式的任何建议，或者是否有其他方法可以提取logit？