根据意图分类任务的时期，微调BERT的准确性差异很大

Question

我使用Bert base uncased进行嵌入，并对数据集中的意图分类（约400 classes and 2200 utterances, train:test=80:20做简单的余弦相似度）。基本的BERT模型在测试数据集中的准确率达到60％，但是不同的微调时期给了我非常难以预测的结果。

这是我的设置：

max_seq_length=150
train_batch_size=16
learning_rate=2e-5

这些是我的实验

base model   accuracy=0.61
epochs=2.0   accuracy=0.30
epochs=5.0   accuracy=0.26
epochs=10.0  accuracy=0.15
epochs=50.0  accuracy=0.20
epochs=75.0  accuracy=0.92
epochs=100.0 accuracy=0.93

我不明白它的表现如何。我希望任何微调的时代都不会比基本模型差，因为我在同一数据集上进行了微调和推断。我有什么误会或应该关心的吗？

Answer 1

好吧，通常，您将无法一次输入训练集中的所有数据（我假设您有一个巨大的数据集，必须使用迷你批次）。因此，您将其分为多个小批。因此，最后一个小批量或该纪元的最后一个训练步骤会大大影响显示的准确性。