Question

我对Alexnet模型有疑问。我已经从BVLC caffe模型中重新实现了Torch中的Alexnet模型。但是，即使在批量大小设置为256的100万次迭代之后，我仍然获得0％的前1精度。我想知道是否有人可以帮我解决模型中的错误。这是我写的模型：

net = nn.Sequential()
net:add(cudnn.SpatialConvolution(3, 96, 11, 11, 4, 4, 0, 0, 1):learningRate('bias', 2):weightDecay('bias', 0))
net:add(cudnn.ReLU(true))
net:add(cudnn.SpatialCrossMapLRN(5))
net:add(cudnn.SpatialMaxPooling(3,3, 2,2, 0,0):ceil())                                                                     

net:add(cudnn.SpatialConvolution(96,256,5,5,1,1,2,2,2):learningRate('bias', 2):weightDecay('bias', 0))
net:add(cudnn.ReLU(true))
net:add(cudnn.SpatialCrossMapLRN(5))
net:add(cudnn.SpatialMaxPooling(3,3,2,2,0,0):ceil())

net:add(cudnn.SpatialConvolution(256, 384, 3,3, 1,1, 1,1,1):learningRate('bias', 2):weightDecay('bias', 0))
net:add(cudnn.ReLU(true))

net:add(cudnn.SpatialConvolution(384, 384, 3,3, 1,1, 1,1,2):learningRate('bias', 2):weightDecay('bias', 0))
net:add(cudnn.ReLU(true))

net:add(cudnn.SpatialConvolution(384, 256, 3,3, 1,1, 1,1,2):learningRate('bias', 2):weightDecay('bias', 0))
net:add(cudnn.ReLU(true))
net:add(cudnn.SpatialMaxPooling(3,3,2,2,0,0):ceil())

--net:add(nn.View(256*6*6))
net:add(nn.View(-1):setNumInputDims(3))
net:add(nn.Linear(256*6*6, 4096):learningRate('weight', 1):learningRate('bias', 2):weightDecay('weight', 1):weightDecay('bias', 0))
--net:add(nn.BatchNormalization(4096))
net:add(cudnn.ReLU(true))
net:add(nn.Dropout(0.5))
net:add(nn.Linear(4096, 4096):learningRate('weight', 1):learningRate('bias', 2):weightDecay('weight', 1):weightDecay('bias', 0))
--net:add(nn.BatchNormalization(4096))
net:add(cudnn.ReLU(true))
net:add(nn.Dropout(0.5))
net:add(nn.Linear(4096, opt.nClasses):learningRate('weight', 1):learningRate('bias', 2):weightDecay('weight', 1):weightDecay('bias', 0))

这就是我初始化权重的方式：

-- initialize the model
  local function weights_init(m)
    local name = torch.type(m)
    if name:find('Convolution') then
      m.weight:normal(0.0, 0.01)
      m.bias:fill(0)
    elseif name:find('BatchNormalization') then
      if m.weight then m.weight:normal(1.0, 0.02) end
      if m.bias then m.bias:fill(0) end
    end
  end
  net:apply(weights_init)

任何指针都将非常感谢！非常感谢你的帮助，

原始Alexnet实施（基准）

0 个答案: