标签： deep-learning neural-network gaussian transformer attention-model
我正在尝试使用pytorch中的转换器代码，并希望将高斯窗口应用于自我关注，正如我在几篇论文中所看到的那样，但是我不确定如何或在何处应用它。我也没有找到任何实现。如何以及在哪里将高斯核应用于变压器模型？
对于我的转换器代码，我使用的是pytorch在nn.transformer包装器中提供的源代码。