为什么" softmax_cross_entropy_with_logits_v2" backprops成标签

时间:2018-03-04 21:50:55

标签: tensorflow machine-learning neural-network cross-entropy

我想知道为什么在Tensorflow版本1.5.0及更高版本中,softmax_cross_entropy_with_logits_v2默认反向传播到标签和logits。您希望将哪些应用程序/场景支持到标签中?

1 个答案:

答案 0 :(得分:5)

我在下面看到了github问题并提出了同样的问题,您可能希望将其用于将来的更新。

https://github.com/tensorflow/minigo/issues/37

我不会代表做出这个决定的开发人员,但我猜测他们会默认这样做,因为它确实经常使用,对于大多数应用而言,你没有反向传播到标签,标签无论如何都是不变的,不会受到不利影响。

反向传播到标签的两个常见用例是:

  • 创建对抗示例

围绕构建愚弄神经网络的敌对范例,有一整套研究领域。用于这样做的许多方法涉及训练网络,然后固定网络并反向传播到标签(原始图像)以调整它(通常在某些约束下)以产生欺骗网络错误分类图像的结果。 / p>

  • 可视化神经网络的内部结构。

我还建议人们在youtube上观看deepviz工具包视频,你将学到很多关于神经网络学习的内部表示。

https://www.youtube.com/watch?v=AgkfIQ4IGaM

如果您继续深入研究并找到原始纸张,您会发现它们也会反向传播到标签中以生成图像,这些图像可以高度激活网络中的某些过滤器以便理解它们。