BERT分类器中每个标签的预测概率

Question

我正在尝试实现一种方法，以借助scikit Learn的方法来评估预测概率

confidence = model._predict_proba_lr(x_count).max() * 100

是否有一种方法可以使用 BERT模型进行评估？

当前使用的是Bert Base Uncased。
使用Ktrain库（内部使用Keras）
参考代码：https://github.com/amaiya/ktrain/blob/master/examples/text/20newsgroups-BERT.ipynb

Answer 1

在 ktrain 中，您可以将var_a传递给 FontMetrics fm = g.getFontMetrics(); g.drawString( "X", getWidth() / 2, (getHeight() + fm.getAscent() - fm.getDescent())/2 ); 方法以输出概率。有关更多详细信息，请参见text classification tutorial。

Answer 2

对于您使用的特定代码我不太了解。但是对于分类（我想这就是您要寻找的），BERT在预训练的BERT的最后一层上使用了线性+ soft-max层。因此，计算概率应该很简单。我显然发现an example with ktrain可以在其中指定所需的概率（第23行）。