Question

我正在实施一台带有整流线性单元的限制玻尔兹曼机器。我没有在任何地方找到一个简单的实现，所以想问一下是否有人会亲切地验证设计。

这是CD1计算：

def propup(self, vis):
    activation = numpy.dot(vis, self.W) + self.hbias        
    # ReLU activation of hidden units
    return activation * (activation > 0)

def sample_h_given_v(self, v0_sample):
    h1_mean = self.propup(v0_sample)
    # Sampling from a rectified Normal distribution
    h1_sample = numpy.maximum(0, h1_mean + numpy.random.normal(0, sigmoid(h1_mean)))
    return [h1_mean, h1_sample]

def propdown(self, hid):
    activation = numpy.dot(hid, self.W.T) + self.vbias
    return sigmoid(activation)

def sample_v_given_h(self, h0_sample):
    v1_mean = self.propdown(h0_sample)
    v1_sample = self.numpy_rng.binomial(size=v1_mean.shape, n=1, p=v1_mean)
    return [v1_mean, v1_sample]

这就是我计算渐变的方法：

def get_cost_updates(self, lr, decay, mom, l1_penalty, p_noise, epoch, persistent=None, k=1):
    ph_mean, ph_sample = self.sample_h_given_v(input)
    nv_means, nv_samples,nh_means, nh_samples = self.gibbs_hvh(ph_sample)      

    W_grad = numpy.dot(self.input.T, ph_mean) - numpy.dot(nv_samples.T, nh_means)
    vbias_grad = numpy.mean(self.input - nv_samples, axis=0)
    hbias_grad = numpy.mean(ph_mean - nh_means, axis=0)

我的问题是，如何将这些分层到DBN中？

目的是构建一个自动编码器，但我不知道如何处理可见单元也是第二层中的实数变量。

Answer 1

我可以看到前一段时间问过这个问题，但由于没有答案，我会加我的。您编写的DBN是使用贪婪的学习算法实现的，该算法使每个层都像RBM一样。我最近做了一个关于它的讲座，你可以找到一个带有我在这里使用的数字示例的演示文稿：https://www.slideshare.net/mobile/AvnerGidron/generative-models/AvnerGidron/generative-models

我认为如果你能理解这个演示文稿，你自己不应该花很长时间。

将ReLU RBM堆叠到DBN

1 个答案: