标签： pytorch huggingface-transformers
我有一个图像字幕模型，我想通过在其顶部使用预先训练的BERT分类器来确保它生成具有正确事实的句子（该模型生成一个句子->我们使用以下方法从句子中提取“事实”：一个预先训练的分类器->我们计算分类的损失。
我想使用Huggingface变形金刚库，但是由于他们的输入是他们随后将其标记化的句子，因此我不确定如何处理或计算渐变。
有人知道我如何计算梯度吗？