Question

我正在尝试使用玩具模型研究TensorFlow库的tf.contrib.seq2seq部分。目前，我的图表如下：

tf.reset_default_graph()

# Placeholders
enc_inp = tf.placeholder(tf.float32, [None, n_steps, n_input])
expect = tf.placeholder(tf.float32, [None, n_steps, n_output])
expect_length = tf.placeholder(tf.int32, [None])
keep_prob = tf.placeholder(tf.float32, [])

# Encoder
cells = [tf.contrib.rnn.DropoutWrapper(tf.contrib.rnn.BasicLSTMCell(n_hidden), output_keep_prob=keep_prob) for i in range(layers_stacked_count)]
cell = tf.contrib.rnn.MultiRNNCell(cells)
encoded_outputs, encoded_states = tf.nn.dynamic_rnn(cell, enc_inp, dtype=tf.float32)

# Decoder
de_cells = [tf.contrib.rnn.DropoutWrapper(tf.contrib.rnn.BasicLSTMCell(n_hidden), output_keep_prob=keep_prob) for i in range(layers_stacked_count)]
de_cell = tf.contrib.rnn.MultiRNNCell(de_cells)

training_helper = tf.contrib.seq2seq.TrainingHelper(expect, expect_length)

decoder = tf.contrib.seq2seq.BasicDecoder(cell=de_cell, helper=training_helper, initial_state=encoded_states)
final_outputs, final_state, final_sequence_lengths = tf.contrib.seq2seq.dynamic_decode(decoder)

decoder_logits = final_outputs.rnn_output

h = tf.contrib.layers.fully_connected(decoder_logits, n_output)

diff = tf.squared_difference(h, expect)
batch_loss = tf.reduce_sum(diff, axis=1)
loss = tf.reduce_mean(batch_loss)

optimiser = tf.train.AdamOptimizer(1e-3)
training_op = optimiser.minimize(loss)

图表训练得很好并且执行得很好。但是，我不确定在推理时间做什么，因为这个图总是需要expect变量（我试图预测的值）。

据我所知，TrainingHelper函数使用基础事实作为输入，所以我需要的是推理时的另一个辅助函数。

seq2seq模型的大多数实现我似乎都过时了（tf.contrib.legacy_seq2seq）。一些最新的模型经常使用GreddyEmbeddingHelper，我不确定它是否适用于连续时间序列预测。

我发现的另一个可能的解决方案是使用CustomHelper函数。然而，我没有什么材料可供我学习，而且我只是一直把头撞在墙上。

如果我尝试为时间序列预测实施seq2seq模型，我应该在推理时间做什么？

非常感谢任何帮助或建议。提前谢谢！

Answer 1

你是正确的，你需要使用另一个辅助函数进行推理，但你需要在测试和推理之间共享权重。

您可以使用tf.variable_scope（）

执行此操作

with tf.variable_scope("decode"):
    training_helper = ...

with tf.variable_scope("decode", reuse = True):
    inference_helper = ...

有关更完整的示例，请参阅以下两个示例之一：

TensorFlow 1.2如何使用Seq2Seq在推理时设置时间序列预测

1 个答案: