如何使用相似的数据集来改进在原始数据集上训练的模型？

Question

我想训练一个用于简历布局分析的模型，我希望使用Publaynet dataset作为我的文档布局分析模型的起点。我同样使用MaskRCNN。 Publaynet上的模型在0.001的学习率上收敛非常缓慢，并且在lr模型损失增大时变成NAN。

Epoch 1/1000 [==============================] - 28060s 1s/step - loss: 1.4826
Epoch 2/1000 [==============================] - 27881s 1s/step - loss: 1.4227
Epoch 3/1000 [==============================] - 28018s 1s/step - loss: 1.3893
Epoch 4/1000 [==============================] - 27859s 1s/step - loss: 1.3611 
Epoch 5/1000 [==============================] - 27784s 1s/step - loss: 1.3337 
Epoch 6/1000 [=======>......................] - ETA: 5:32:04 - loss: 1.3085 

由于两个数据集都不相似，我应该等待模型在publaynet上完全收敛，然后在原始数据集上进行训练，否则只需进行几次迭代就可以从该数据集中获得最大的收益。