指导Grad-CAM可视化,梯度加权

时间:2019-09-13 14:14:27

标签: neural-network deep-learning conv-neural-network visualization

我实现了the paper中介绍的Grad-CAM和Guided Backprop,一切都按预期工作。下一步是将类激活图和梯度图结合起来,以获得最终的加权梯度。在本文中,这是通过逐点乘法完成的:

  

为了结合两者的最佳方面,我们通过逐点乘法融合了引导反向传播和Grad-CAM可视化(首先使用双线性插值将Grad-CAM向上采样到输入图像分辨率)

对应的数字(已裁剪)为:

enter image description here

我的问题如下:类激活图主要包含0,即蓝色区域,当与梯度相乘时将产生0。但是,在图像中,引导的grad-cam地图大多为灰色。

我知道渐变图中的灰色区域是由于大多数地方的渐变为0,归一化为[0,1]范围会将其放置在0.5左右的位置(假设我们既有正值又有负值)幅度相似的梯度)。不过,与0相乘仍会产生0,该值应显示为黑色。

为了比较,我的地图看起来像这样:

enter image description here

任何人都可以解释使用哪种操作来组合两个地图吗?还是我想念其他东西?

谢谢。

1 个答案:

答案 0 :(得分:0)

所有假设都是正确的。我所缺少的是,在引导Grad-CAM的情况下,梯度的加权是在归一化为[0,1]范围之前完成的。