1）从整个训练集训练CNN和2）从训练集的子集训练然后整个训练集之间有什么区别？

Question

我正在研究U-net数据集上的细分网络LIDC-IDRI。目前有两种培训策略：

1. 从头开始训练整个训练组的模型（40k步，180k步）。
2. 在整个训练集的10％训练模型。收敛（30k步）后，继续在整个训练集上训练模型（10k步）。

使用Dice coefficient作为损失函数，也用于V-net架构（paper），使用方法2训练的模型总是优于使用方法1的模型。前者可以实现骰子得分为0.735，而后者只能达到0.71。

BTW，我的U-net模型在TensorFlow中实现，模型在NVidia GTX 1080Ti上训练

任何人都可以提供一些解释或参考。谢谢！