使用Tensorflow对象检测API：RPN损失不断增加。有什么方法可以减少RPN损失？

Question

我正在使用Tensorflow对象检测API通过我自己的数据进行微调。目标是检测2类物体。我正在使用预先训练的faster_rcnn_resnet101_coco模型。

各种检测盒的精度和召回率通常都在提高（请参见下面的屏幕截图）并且相当高：

箱分类器的损失正在减少。 但是， RPN损失正在增加（请参见下面的屏幕截图）-看起来该模型很难区分前景和背景（因此，RPN损失不断增加） ，但是一旦模型能够识别并找到正确的前景，就可以很好地进行分类（因此，箱分类器损失减少）？我认为这可以从模型在测试图像上的表现中观察到：误报率（在不包含两类目标对象中任何一个的图像上）相当高。另一方面，在包含那些目标对象的图像上，该模型在准确识别和定位这些对象方面做得非常出色。

所以我的问题本质上是：我可以尝试采取哪些措施来确保RPN损失也在减少。