我想知道为什么在Tensorflow版本1.5.0及更高版本中,softmax_cross_entropy_with_logits_v2默认反向传播到标签和logits。您希望将哪些应用程序/场景支持到标签中?
答案 0 :(得分:5)
我在下面看到了github问题并提出了同样的问题,您可能希望将其用于将来的更新。
https://github.com/tensorflow/minigo/issues/37
我不会代表做出这个决定的开发人员,但我猜测他们会默认这样做,因为它确实经常使用,对于大多数应用而言,你没有反向传播到标签,标签无论如何都是不变的,不会受到不利影响。
反向传播到标签的两个常见用例是:
围绕构建愚弄神经网络的敌对范例,有一整套研究领域。用于这样做的许多方法涉及训练网络,然后固定网络并反向传播到标签(原始图像)以调整它(通常在某些约束下)以产生欺骗网络错误分类图像的结果。 / p>
我还建议人们在youtube上观看deepviz工具包视频,你将学到很多关于神经网络学习的内部表示。
https://www.youtube.com/watch?v=AgkfIQ4IGaM
如果您继续深入研究并找到原始纸张,您会发现它们也会反向传播到标签中以生成图像,这些图像可以高度激活网络中的某些过滤器以便理解它们。