如何在Keras嵌入层中使用BERT预训练模型

时间:2020-08-28 01:56:44

标签: python-3.x tensorflow keras nlp

如何在Keras的Embedding层中使用像bert-base-uncased这样的预训练BERT模型作为权重?

当前,我正在使用BERT模型生成单词嵌入,这需要很多时间。而且我正在按如下所示的示例分配这些权重

model.add(Embedding(307200, 1536, input_length=1536, weights=[embeddings]))

我在互联网上进行搜索,但是方法是在PyTorch中给出的。我需要在Keras中进行。请帮忙。

0 个答案:

没有答案