Question

在卷积神经网络中的梯度数据的可视化中，采用Caffe框架，已经可视化关于所有类的梯度数据，关于特定类采用梯度是有趣的。在“bvlc_reference_caffenet”模型的deploy.prototxt文件中，我设置了：

force_backward: true

并评论了最后一部分：

layer {
  name: "prob" 
  type: "Softmax"
  bottom: "fc8"
  top: "prob" 
}

，之前是：

layer {
  name: "fc8"
  type: "InnerProduct"
  bottom: "fc7"
  top: "fc8"
  inner_product_param {
  num_output: 1000
 }
}

，而不是添加它：

 layer {
   name: "loss"
   type: "SoftmaxWithLoss"
   bottom: "fc8"
   bottom: "label"
   top: "prob"
}

，在python代码中调用：

out = net.forward()

，我们前往最后一层，然后通过调用：

backout = net.backward()

，得到了渐变的可视化。首先，我想问这个被称为显着性图，如果我想针对特定的类向后做，例如281是一只猫。我该怎么办？

提前感谢您的指导。

P.S。受益于杨庆的过滤器可视化笔记本代码。

imagenetMeanFile = caffe_root  +'python/caffe/imagenet/ilsvrc_2012_mean.npy'
caffe.set_mode_cpu()
net = caffe.Net(caffe_root +   'models/bvlc_reference_caffenet/deploy.prototxt',
            caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel',
            caffe.TRAIN)
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1))
transformer.set_mean('data', np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy').mean(1).mean(1)) # mean pixel 
transformer.set_raw_scale('data', 255)  # the reference model operates on images in [0,255] range instead of [0,1]
transformer.set_channel_swap('data', (2,1,0))  # the reference model has channels in BGR order instead of RGB

Answer 1

对于完全可视化，您可以参考我的github，它更完整，可视化显着性图，以及类模型的可视化和反向传播中的梯度可视化。

https://github.com/smajida/Deep_Inside_Convolutional_Networks

Answer 2

使用以下代码可以完成：

label_index = 281  # Index for cat class
caffe_data = np.random.random((1,3,227,227))
caffeLabel = np.zeros((1,1000,1,1))
caffeLabel[0,label_index,0,0] = 1;

bw = net.backward(**{net.outputs[0]: caffeLabel})

实施“深入卷积网络：可视化图像分类模型和显着性图”，Simonyan等

2 个答案: