对非方形输入微调VGG或AlexNet

Question

VGG和AlexNet等需要方形尺寸的固定图像输入（H == W）。如何微调或以其他方式进行网络手术，以便提供非方形输入？

供您参考，我正在使用Caffe并打算为非方形图像输入提取FC7个功能。

Answer 1

对于网络的卷积部分 - 输入大小并不重要：输出的形状会随着您更改输入大小而改变。
但是，当涉及"InnerProduct"层时 - 权重的形状是固定的，并且由输入大小决定。

您可以执行"net surgery"将"InnerProduct"图层转换为"Convolution"图层：这样您的网络就可以处理任何尺寸的输入。但是，您的输出形状也会有所不同。

另一种选择是根据新的固定输入大小定义您的网络，重新使用所有学习到的covolutions权重，并仅微调完全连接图层的权重。