如何在张量板图上绘制注意力矢量

Question

序列2序列模型的注意向量基本上是形状[batch_size，time_step，1]的数组，其表示特定时间步长的权重。

但如果我使用tf.summary.histogram在张量板上显示它，张量流只会显示权重的分布，我不能告诉哪个时间步骤更重要。我可以使用tf.summary.scalar，但我的源序列的长度是128，这是太多的情节。显示这种数据的最自然的方式是这样的图片，但我怎么能在tensorboad中呢？

Answer 1

Tensorboard目前不支持可视化张量摘要。它有一个summary op，但Tensorboard会在从磁盘读取摘要时跳过它。我也不知道任何支持这一点的第三方插件，尽管它非常可行。

在你的情节中，似乎只有19个时间步。一种方法是创建19个标量摘要。或者，您可以使用tf.summary.tensor_summary op，但使用您自己的脚本处理tensorboard事件文件（包含此数据）。