Question

我尝试在Theano中实现非负矩阵分解。更详细地说，我尝试找到两个矩阵L和R，以使其产品L x R尽可能准确地表示给定矩阵M。

为了查找L和R矩阵，我使用反向传播。在某些时候，我注意到L和R中的值可能是负数（当然没有任何东西可以阻止支持这样做）。我试图通过在反向传播步骤后添加以下行来纠正此行为：

self.L.set_value(T.abs_(self.L).eval())
self.R.set_value(T.abs_(self.R).eval())

之后我的程序变慢了。

我做错了吗？我是否以错误的方式更新张量的值？有没有办法更快地完成它？

ADDED

根据评论中的要求，我提供了更多代码。这就是我在__init__中定义函数的方法。

self.L = theano.shared(value=np.random.rand(n_rows, n_hids), name='L', borrow=True)
self.R = theano.shared(value=np.random.rand(n_hids, n_cols), name='R', borrow=True)
Y = theano.dot(self.L, self.R)

diff = X - Y
D = T.pow(diff, 2)
E = T.sum(D)
gr_L = T.grad(cost=E, wrt=self.L)
gr_R = T.grad(cost=E, wrt=self.R)

self.l_rate = theano.shared(value=0.000001)
L_ups = self.L - self.l_rate*gr_L
R_ups = self.R - self.l_rate*gr_R

updates = [(self.L, L_ups), (self.R, R_ups)]
self.backprop = theano.function([X], E, updates=updates)

然后在我的train函数中，我有了这段代码：

for i in range(self.n_iter):
    costs = self.backprop(X, F)

    self.L.set_value(T.abs_(self.L).eval())
    self.R.set_value(T.abs_(self.R).eval())

一个小问题，我使用abs_函数，但实际上更有意义的是使用一个将负值替换为零的函数。

Answer 1

您可以强制L和R的符号更新值始终为正，如下所示：

self.l_rate = theano.shared(value=0.000001)
L_ups = self.L - self.l_rate*gr_L
R_ups = self.R - self.l_rate*gr_R

# This force R and L to always be updated to a positive value
L_ups_abs = T.abs_(L_ups)
R_ups_abs = T.abs_(R_ups)

# Use the update L_ups_abs instead of L_ups (same with R_ups)
updates = [(self.L, L_ups_abs), (self.R, R_ups_abs)]
self.backprop = theano.function([X], E, updates=updates)

并删除行

self.L.set_value(T.abs_(self.L).eval())
self.R.set_value(T.abs_(self.R).eval())

来自你的训练循环

如何有效地更新Theano中共享变量的值？

1 个答案: