从领域相似数据而非imagenet应用转移学习时，模型准确性降低

Question

我已经使用高效网络在苹果叶病数据集上训练了一个模型（例如苹果模型）。然后，我保存模型权重，并将其用于转移学习中以训练模型（例如柠檬模型）以识别柠檬叶病数据集。班级数量和疾病有所不同。值得一提的是，图像网络权重用于转移学习中以训练Apple模型。

但是，当我使用图像净重而不是苹果模型的权重训练柠檬模型时，我得到了87％的准确率和90％的F1得分的好结果

但是当我使用Apple模型权重训练柠檬模型时，模型的性能下降，如下图所示，准确度为68％，f1得分为62％

问题 我假设作为模型苹果已经知道什么是叶子和叶子疾病，它应该比imagenet数据更准确地分类。但这种情况并非如此。如果有人可以帮助我找出原因