在seq2seq
网络中的大多数注意力机制实现中,数据集是词汇表,可以使用嵌入技术将其存储为数字向量。但是,如果序列本身包含有意义的数字并且我们不需要嵌入数据集该怎么办?
可以在组合优化问题(例如旅行商问题(TSP))中找到实际示例,在该问题中,序列是目标节点的编号。或在时间序列预测中。
在这些情况下,我们可以省略嵌入步骤吗?或嵌入是具有“注意”机制所固有的。
第二,如果答案是肯定的,则在tensorflow软件包的seq2seq
实现中,需要按如下方式初始化一个助手:
train_helper = tf.contrib.seq2seq.TrainingHelper(inputs,sequence_length)
decoder = tf.contrib.seq2seq.BasicDecoder(cell=out_cell, helper=train_helper,initial_state=out_cell.zero_state(dtype=tf.float32, batch_size=batch_size))
当我们不对数据集使用嵌入结构时,使用帮助器的方法是什么?