具有不平衡数据的二进制类的语义分段的丢失不会收敛

Question

我想分割刚占据整个数据集一小部分的对象（例如ICDAR 2015或CamVid中的人）。像素级的正样本和负样本之间的比率约为1：200。

我的网络，其骨干是经过预先训练的VGG16或ResNet50，可以在具有12个类的CamVid数据集中很好地工作。然而，当我对这个网络进行微调以仅对CamVid中的人进行细分时，损失将保持在0.31左右，并且即使在真正小的学习率（如1e-5）下也不会减少。更重要的是，当在另一个数据集（ICDAR 2015）上训练新模型以获取图像中的文本区域时，我遇到了同样的问题。

我用pytorch构建了我的模型，我使用的损失函数是加权交叉熵损失。

有人能告诉我问题出在哪里吗？那是关于损失的功能吗？因为我认为模型架构没有问题。真的很感激任何建议。

Answer 1

对于CamVid数据集，人员类太难以分割我的网络。对于ICDAR 2015，我认为我的处理存在一些问题（如随机裁剪）。最后，数据集非常重要，我们应该更加关注它。