具有NRLU隐藏单位的高斯RBM（在DURBAN中）？

Question

我正在研究RBM（用于DBN）进行图像分类。我正在使用两个RBM层。第一个具有高斯可见单元和二进制隐藏单元，第二个具有二元可见单元和softmax隐藏单元。它运作得很好。我现在想尝试使用Noise Corretified Linear Unit作为隐藏层，但我不明白如何实现它们。我尝试的一切都导致了可怕的结果。

现在，如果我理解正确：ReLU的激活概率只是p = max（0，x + N（0,1）），但是如何对这些值进行采样以激活可见单位？噪声是否仅用于采样而非激活概率？

另一件事：在一些论文中，我看到噪声是N（0,1），而另一些则使用N（0，sigmoid（x））。

那么，激活函数应该是什么以及如何对值进行采样？

Answer 1

显然：

使用max(0, x)作为激​​活概率函数并使用max(0, x + N(0, Sigmoid(x))进行抽样似乎适用于RBM。