了解TensorFlow 2.x注意层的参数

Question

我正在阅读TensorFlow网站上tf.keras.layers.Attention上的文档。该文档说call参数采用查询张量，值张量。 我的问题是这些张量是多少。他们是

• 查询Tensor = lstm输出
• 张量= lstm隐藏状态

如果我错了，请纠正我。

谢谢

Answer 1

值张量->这是每个时间步长的编码器表示形式。 查询张量->如果您逐步计算时间，这是当前时间步的解码器表示形式。如果您正在计算每个时间步长的注意力，则它是代表解码器输出每个时间步长的张量。