如何使用 bertforsequenceclassification 处理多标签的不平衡数据集?

时间:2021-01-16 16:57:08

标签: python deep-learning pytorch bert-language-model multilabel-classification

我有一个带有 bertforsequenceclassification 的多标签分类 BERT 模型,数据集高度不平衡,有 15 个类,正如您在此处看到的 pos_weights:

张量([ 86.5999, 3.3153, 0.8365, 6.6842, 86.5999, 7.0367, 3.3582, 144.9998、11.5143、27.2581、11.0000、21.4615、38.8182、2.7597、 174.1996])

我在损失函数 torch.nn.BCEWithLogitsLoss() 中输入了它,但是,大部分结果结果为 0,因为当我应用 sigmoid 并设置阈值 0.5 来确定该值时,大多数结果接近 0.5但仍低于 0.5。所以我不确定我是否能很好地处理不平衡的数据,或者可能有其他问题,而且,当我试图改进它时,我实际上不知道我是否可以简单地将 0.5 设置为这种不平衡情况的阈值。< /p>

我错过了其中的任何部分吗?或者如果我想处理这个问题,我应该添加什么?

0 个答案:

没有答案