Fairseq中的实现位置嵌入-基于'Quick Edit'的conv seq2seq

时间:2018-08-17 06:06:11

标签: deep-learning pytorch seq2seq

我正在尝试通过修改其Fairseq存储库来重新创建Facebook's Quick Edit Results

我无法理解作者对双重位置嵌入的实现。这是纸上的解释

  

与(Gehring等人,2017)相比,我们扩展了位置嵌入   包含两种类型的向量,与   ci = 0的位置i和与   位置ci = 1的位置i。与系统中的所有参数一样,两者   学习嵌入集以最大程度地提高对数似然   训练参考句以原文为条件,并带有注释   猜对。

在Conv Seq中向Seq学习Positional Embedding in ConvSeq2Seq

中进行位置嵌入

如果有人知道如何做

0 个答案:

没有答案