在Imagenet 2011上训练的深度卷积NN获得低精度

时间:2014-09-26 18:46:45

标签: machine-learning deep-learning

我已经下载了Imagenet2011数据集,并尝试使用说明Caffe在其上训练here imagenet网络。我使用大约500K图像进行训练,使用70K图像进行验证。

我还下载了用于实验的ILSVRC 2012验证集。

结果如下:

在ILSVRC 2012官方验证集上 我的网络:准确率为46%,原始Caffe Imagenet网络:准确度为56%。

在我的验证集上:我的网络:准确率为53%,原始Caffe Imagenet网络:准确度为80%。

关于我的训练数据(检查是否过度拟合):我的网络:99%准确度,原始Caffe Imagenet网络:70%准确度。

我想请求一些有关培训的帮助和提示:

  1. 我感觉我的新网络过度拟合。你同意吗?我应该使用更多图像吗?使用数据增加来机械地增加训练集的大小?或者更改dropout参数?

  2. 在论文" Imagenet分类中使用深度卷积神经网络"作者:Krizhevsky等。 1它说作者使用1.2M图像进行训练并使用数据增强2,将训练数据的大小增加2048倍。但是,没有数据增加(除了随机翻转)在为imagenet培训提供的代码中完成。是不是真的需要数据扩充?

  3. 我只对ImageNet数据集中的大约100个课程感兴趣。假设我只用100个类,总共100K图像训练imagenet网络(从头开始)。它远远低于最初的1.2M图像,但它的类别也少得多。网络是否过度适应或者它会在这100个类别中表现出色?或者我应该只为100个课程使用不同的网络架构?训练Imagenet网络然后只使用这100个类进行微调会更好吗?

  4. 对于原始的1K类别,我只有500K图像(而不是1.2M)。我应该使用包含更多图像的类别吗?如何使用更多类别(和图像)?

  5. 提前致谢!

    吉尔

    1 Krizhevsky,Alex,Ilya Sutskever和Geoffrey E. Hinton。 "使用深度卷积神经网络进行Imagenet分类。"神经信息处理系统的进展。 2012.

    2"第一种形式的数据增强包括生成图像平移和水平反射。我们通过从256x 256图像中提取随机224 x224补丁(及其水平反射)并在这些提取的补丁4上训练我们的网络来实现这一点。这使我们的训练集的大小增加了2048倍,尽管由此产生的训练样例当然是高度相互依赖的。"

0 个答案:

没有答案