Question

是否有办法根据当前函数的结果有条件地更新共享变量。例如

g_W = T.grad(cost=classifier.cost,wrt=classifier.W)
updates=[(W,W-learning_rate*g_W)]
model = theano.function([index],outputs=cost,updates=updates)

在这个模型中，我只需要在成本大于0时更新权重参数。函数中有no_default_updates参数，但它不适用于'updates'参数。

Answer 1

您可以使用符号条件操作。 Theano有两个：switch和ifelse。 switch以元素方式执行，而ifelse更像传统条件。有关详情，请参阅documentation。

这是一个仅在成本为正时更新参数的示例。

import numpy
import theano
import theano.tensor as tt


def compile(input_size, hidden_size, output_size, learning_rate):
    w_h = theano.shared(numpy.random.standard_normal((input_size, hidden_size))
                        .astype(theano.config.floatX), name='w_h')
    b_h = theano.shared(numpy.random.standard_normal((hidden_size,))
                        .astype(theano.config.floatX), name='b_h')
    w_y = theano.shared(numpy.random.standard_normal((hidden_size, output_size))
                        .astype(theano.config.floatX), name='w_y')
    b_y = theano.shared(numpy.random.standard_normal((output_size,))
                        .astype(theano.config.floatX), name='b_y')
    x = tt.matrix()
    z = tt.vector()
    h = tt.tanh(theano.dot(x, w_h) + b_h)
    y = theano.dot(h, w_y) + b_y
    c = tt.sum(y - z)
    updates = [(p, p - tt.switch(tt.gt(c, 0), learning_rate * tt.grad(cost=c, wrt=p), 0))
               for p in (w_h, b_h, w_y, b_y)]
    return theano.function([x, z], outputs=c, updates=updates)


def main():
    f = compile(input_size=3, hidden_size=2, output_size=4, learning_rate=0.01)


main()

在这种情况下，可以使用switch或ifelse，但在这种情况下，switch通常更受欢迎，因为ifelse似乎并未在整个Theano中得到良好支持框架，需要特殊的导入。

如何在Theano中对共享变量执行条件更新？

1 个答案: