我正在尝试通过修改其Fairseq存储库来重新创建Facebook's Quick Edit Results。
我无法理解作者对双重位置嵌入的实现。这是纸上的解释
与(Gehring等人,2017)相比,我们扩展了位置嵌入 包含两种类型的向量,与 ci = 0的位置i和与 位置ci = 1的位置i。与系统中的所有参数一样,两者 学习嵌入集以最大程度地提高对数似然 训练参考句以原文为条件,并带有注释 猜对。
在Conv Seq中向Seq学习Positional Embedding in ConvSeq2Seq
中进行位置嵌入如果有人知道如何做