哪一种特别好的优化器/准则可以更快地学习稀疏数据?

时间:2018-10-07 19:58:01

标签: conv-neural-network pytorch

不确定“稀疏”在这里是否正确。
我想训练一个CNN-具体来说就是UNet-如图所示生成遮罩:
Typical mask image the cnn shall learn 蒙版是二进制的,大多数图像是白色的。或多或少是稀疏的意思,尽管这不是正确的用语...

当我开始训练时,网只是学习将所有东西都涂成白色,因为完全白色的图片损失已经很小。

那么,哪个是最适合此类问题的最佳优化程序和/或标准?
也许有些人以某种方式“能力”对误报否定了很高的惩罚,而对误报否定了那么高的惩罚?

编辑: 我忘了分享当前的优化器和损失:

optimizer = optim.SGD(net.parameters(),
                      lr=0.0001,
                      momentum=0.9,
                      weight_decay=0.0005)

criterion = nn.BCELoss(reduction='sum')

0 个答案:

没有答案