使用Gumbel Softmax的中间层阈值

时间:2019-07-13 08:46:53

标签: neural-network deep-learning softmax activation-function

在神经网络中,对于中间层,我需要对输出进行阈值设置。该层中每个神经元的输出都是真实值,但是我需要将其二进制化(为0或1)。但是,通过严格的阈值设置,反向传播将不起作用。有没有办法做到这一点?

详细信息:
我有GAN类网络,即有2个端到端训练的神经网络。第一神经网络的输出是实数值。我需要它们是二进制值。我读到Gumbel Softmax(类别重新参数化)用于处理神经网络中的离散变量。有没有办法在我的用例中使用它?如果是,怎么办?如果没有,还有其他方法吗?

从我可以在互联网上收集到的信息来看,Gumbel是一种概率分布。使用它我们可以生成离散分布。但是对于用例,我需要一个可以接受实际输入并输出二进制值的函数。因此,我需要那种形式的激活功能。我该如何实现?
谢谢!

0 个答案:

没有答案