张量流复发细胞中的重量

时间:2018-03-23 08:33:38

标签: python tensorflow deep-learning recurrent-neural-network autoencoder

在完全连接的自动编码器this paper的上下文中指出,一种类型的正则化是使用绑定权重用于权重矩阵(本文第2部分)。在该论文中,解码器的权重矩阵是编码器的编码矩阵的转置。在张量流中写这个伪python可以是:

 import tensorflow as tf
 encoder_activation = tf.add(tf.matmul(input_data, W_encoder),self.b_encoder)
 encoder = tf.tanh(activation)
 decoder_activation = tf.add(tf.matmul(encoder, tf.transpose(W_encoder)),self.b_decoder)
 decoder = tf.tanh(decoder_activation)

其中input_data是占位符,b_ *是偏差,W_encoder是编码器的绑定权重矩阵。给出形状以便不出现维数问题。

我的问题是如何使用Tensorflow重复单元格的绑定权重矩阵而不是完全连接(使其成为递归自动编码器)?如果可能的话,主要想法的伪python /代码提示是非常赞赏的。我不太熟悉rnn细胞的内部工作原理。考虑一下最基本的细胞,可以更容易地说明这一点 感谢您

0 个答案:

没有答案