我正在处理二进制不平衡分类,并且一直在使用焦距损失来改善结果。在原始论文中提到,对于平衡二元分类问题,权重必须进行不同的初始化,以防止训练过程中出现不稳定。
这是我指的是https://arxiv.org/abs/1708.02002(第3.3和4.1节)。
具体地说,他们说:
除RetinaNet子网中的最后一层外,所有新的conv层均使用b = 0进行初始化 并用
theta = 0.01
填充高斯权重。对于最后的转换 在分类子网的第二层,我们将偏差初始化设置为b = − log((1 − pi)/pi)
,其中pi
指定在训练开始时,每个锚点都应置为pi
,标记为前景。在所有实验中,我们都使用pi = .01
,尽管结果对确切值很可靠。
由于我的培训非常不稳定,所以我想知道如何在keras中初始化内核。