如何在caffe或DIGITS中实现L2正规化？

Question

我正在使用Caffe和NVIDIA DIGITS。我想在ImageNet上使用预先训练的AlexNet，并想在我的医疗数据上进行微调。我有近1000张图像，使用80％进行训练，我通过数据增强（使用裁剪和旋​​转）生成了40,000张图像。但是我面临严重的过度拟合。我尝试通过添加多个dropout图层来克服这个问题。结果改变自：

为：

但我的准确性没有提高。

我的网络规格：

specs2-mock

AlexNet pre-trained on ImageNet

base learning rate: 0.001

learning rate multiplier: 0.1 for convolution layers and 1 for fully connected layers and xavier weight initialisation.

现在我想添加L2正则化。我在Caffe找不到这样的图层，我应该自己做。

dropout: 0.5您对我的问题有什么解决方案吗？ （我尝试了其他方法，例如更改步长，将学习率从first question:更改为1，我发现10^(-5)更好，权衡衰减变化，添加各种辍学图层（这有助于您看到））

0.001你可以帮助我如何实现L2正规化吗？

Answer 1

默认情况下，您在caffe中有L2正则化。
有关详细信息，请参阅this thread。