填充后如何生成注意力掩码？

Question

在将第二和第三维中具有 4 个维度 [4, 5, 129, 24] 的张量 A 填充到 [4, 6, 136, 24]，我如何生成它的“注意力掩码”？

我想出了两个解决方案：

• 第一个是创建一个喜欢A_pad的零张量A_attention，然后遍历A将1填充到A_attention中的相关位置。
• 第二个是在填充过程中创建注意力掩码。但是看起来有点麻烦，因为初始张量 A 有 4 个维度。

有什么方法可以在填充后更有效地生成注意力掩码？有API吗？

非常感谢。

Answer 1

您可以尝试使用 Hugging Face 中的 Transformers 库，它提供了一个非常有用的 tokenizer。

我建议您阅读整个快速入门，但原则上，this is the part 您感兴趣。