在seq2seq

Question

我正在使用Tensorflow seq2seq模型，我想知道如何为训练有素的seq2seq解码器提供任意初始解码器内存（在训练期间，此初始解码器内存是编码器的输出）

我认为我需要使用feed_dict和TF强制我输入输入序列，因为为它定义了占位符，对于解码器输入也是如此。

但是，如果我这样做，我实际上无法强制初始解码器内存成为我想要的内容，因为它是从解码器输入定义的。我仍然试图这样做，但它忽略了我的第三行。

for t in range(seq_length):
    feed_dict[enc_inp[t]] = X[t] #encoder input

for t in range(seq_length):
    feed_dict[dec_inp[t]] = Y[t] #decoder input

for t in range(seq_length):
    feed_dict[dec_memory[t]] = np.random.rand(memory_dim) #value I want to feed as initial memory of decode

你对如何做我想做的事有什么想法吗？即，即使它们不是由占位符提供，也可以为模型变量状态提供信息。

由于

Answer 1

你不应该喂随机数，而是0吗？这是关于rnns的karpathy课程中的一个建议：Recurrent Neural Networks, Image Captioning