如何在Caffe中训练GoogLeNet时为输入图像添加外部功能？

Question

我一直在使用Caffe框架使用我自己的数据集中的图像来微调GoogLeNet模型。如果我可以在训练过程中为训练图像添加一些外部提取的功能（如基于SIFT或HoG ...），我认为我可以改进结果。

有没有办法可以将训练数据集扩展为IMAGES + ADDITIONAL FEATURES，并使用Python在Caffe中训练相同的模型？

谢谢！

Answer 1

Caffe不仅限于图片。事实上，它可以接受（几乎）任何类型的输入。您可以将培训数据存储在hdf5二进制文件中，并使用"HDF5Data"图层在caffe中读取。 hdf5文件可以存储多个变量，例如"image"，"label"和附加"img_features"。因此，您对caffe的输入层将类似于：

layer {
  name: "input"
  type: "HDF5Data"
  top: "image"
  top: "img_features"
  top: "label"
  ...
}

您可以使用python的h5py python包来创建输入hdf5文件。