在Theano中计算Rnn的梯度问题

时间:2015-12-26 23:29:04

标签: python theano recurrent-neural-network

我正在玩vanilla Rnn's,使用渐变下降训练(非批量版本),我对(标量)成本的梯度计算有问题;这是我的代码的相关部分:

class Rnn(object):
# ............ [skipping the trivial initialization]
    def recurrence(x_t, h_tm_prev):
        h_t = T.tanh(T.dot(x_t, self.W_xh) +
                     T.dot(h_tm_prev, self.W_hh) + self.b_h)
        return h_t

    h, _ = theano.scan(
        recurrence,
        sequences=self.input,
        outputs_info=self.h0
    )

    y_t = T.dot(h[-1], self.W_hy) + self.b_y
    self.p_y_given_x = T.nnet.softmax(y_t)

    self.y_pred = T.argmax(self.p_y_given_x, axis=1)


def negative_log_likelihood(self, y):
    return -T.mean(T.log(self.p_y_given_x)[:, y])


def testRnn(dataset, vocabulary, learning_rate=0.01, n_epochs=50):
   # ............ [skipping the trivial initialization]
   index = T.lscalar('index')
   x = T.fmatrix('x')
   y = T.iscalar('y')
   rnn = Rnn(x, n_x=27, n_h=12, n_y=27)
   nll = rnn.negative_log_likelihood(y)
   cost = T.lscalar('cost')
   gparams = [T.grad(cost, param) for param in rnn.params]
   updates = [(param, param - learning_rate * gparam)
              for param, gparam in zip(rnn.params, gparams)
              ]
   train_model = theano.function(
       inputs=[index],
       outputs=nll,
       givens={
           x: train_set_x[index],
           y: train_set_y[index]
       },
   )
   sgd_step = theano.function(
       inputs=[cost],
       outputs=[],
       updates=updates
   )
   done_looping = False
   while(epoch < n_epochs) and (not done_looping):
       epoch += 1
       tr_cost = 0.
       for idx in xrange(n_train_examples):
           tr_cost += train_model(idx)
       # perform sgd step after going through the complete training set
       sgd_step(tr_cost)

由于某些原因,我不想将完整(训练)数据传递给train_model(..),而是希望一次传递单个示例。现在的问题是每次调用train_model(..)都会返回该特定示例的成本(负对数似然),然后我必须汇总所有成本(完整(训练)数据集)然后采取派生并对sgd_step(..)中的权重参数执行相关更新,并且出于显而易见的原因,我的当前实现我收到此错误: theano.gradient.DisconnectedInputError:要求grad方法计算渐变对于不属于成本计算图的变量,或仅由不可微运算符使用的变量:W_xh 。现在我不明白如何让'成本'成为计算图的一部分(就像我必须等待它聚合时的情况一样)或者是否有更好/更优雅的方式来实现同样的事情?

感谢。

1 个答案:

答案 0 :(得分:0)

事实证明,如果它们不是计算图的一部分,就不能将符号变量带入Theano图。因此,我必须改变将数据传递给train_model(..)的方式;通过完整的培训数据而不是单个示例来解决问题。