培训期间如何处理NaN和0损失和验证

Question

我在训练时使用的是SSD512（图像网络预训练模型）和Faster_R-CNN（预训练），丢失和置信度显示为nan，验证为0。

[Basketball-ChainerCV]（https://github.com/atom2k17/Basketball-ChainerCV/blob/master/basketballproject.py）。

下面是SSD300培训的图像：

在训练开始之前训练Faster R-CNN时，在第一组时间段的结果之前会显示以下内容：

/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in exp
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in multiply
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in exp
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in multiply
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/proposal_creator.py:126: 
RuntimeWarning: invalid value encountered in greater_equal 

我尝试过的事情：

1. 提高学习率
2. 减少batch_size
3. 在文本文件中删除图像，注释和内容的图像 边框小于图片总大小的1％

注意：SSD300可以正常运行，但问题在于SSD512和Faster RCNN模型。所有模型都在ImageNet数据集上进行了预训练。

问题背后的问题是什么？谁能指出如何处理此类问题？