在完全连接的自动编码器this paper的上下文中指出,一种类型的正则化是使用绑定权重用于权重矩阵(本文第2部分)。在该论文中,解码器的权重矩阵是编码器的编码矩阵的转置。在张量流中写这个伪python可以是:
import tensorflow as tf
encoder_activation = tf.add(tf.matmul(input_data, W_encoder),self.b_encoder)
encoder = tf.tanh(activation)
decoder_activation = tf.add(tf.matmul(encoder, tf.transpose(W_encoder)),self.b_decoder)
decoder = tf.tanh(decoder_activation)
其中input_data是占位符,b_ *是偏差,W_encoder是编码器的绑定权重矩阵。给出形状以便不出现维数问题。
我的问题是如何使用Tensorflow重复单元格的绑定权重矩阵而不是完全连接(使其成为递归自动编码器)?如果可能的话,主要想法的伪python /代码提示是非常赞赏的。我不太熟悉rnn细胞的内部工作原理。考虑一下最基本的细胞,可以更容易地说明这一点 感谢您