预训练模型不学习

Question

我正在使用血细胞数据集。型号为SSD512（在ImageNet数据集上预先训练）。训练并不能提供令人满意的准确性，有时即使能够进行训练，丢失和验证也将是Nan，或者验证将是0。我以前在相同的数据集上使用SSD300并获得了正常的结果。相同的超参数设置不适用于SSD512。

我尝试过的内容：

1. 学习率.001或更高返回Nan进行丢失和验证。似乎只有.0001或更小才能训练模型。
2. 我尝试使用MomentumSGD以外的优化程序。亚当返回Nan值。其他优化程序返回0验证（不学习任何内容）。

您可以在此处查看代码：Link

您还可以在此处签出SSD300代码：Link

在这里我必须进行哪种超参数调整？任何了解为什么SSD512在相同数据集上表现异常的指针都将有所帮助。