在尝试训练数据集时,我一直在不断遇到以下错误:
InvalidArgumentError (see above for traceback): LossTensor is inf or nan. : Tensor had NaN values
或
NanLossDuringTrainingError
我觉得目前唯一的解决方法是使用渐变剪切,但是我不确定如何将其集成到pipeline.config文件或optimizerbuilder.py文件中。我已经尝试重新整理目录,使用FaceSSD模型和Faster RCNN Inception V2 Coco模型重新检查边框的坐标,调整图像大小,从RMS prop优化器更改为Adam优化器,降低了学习率,并且使用legacy / train.py而不是model_main.py。有人有建议吗?