这是nn.Transformer的工作方式吗？

Question

如果我要将一张图片转换为另一张图片， 然后

transformer_model = nn.Transformer(img_size, n_heads)
transformer_model(source_image, target_image)

这是使用nn.Transformer的正确方法吗？

Answer 1

否，这不是Transformer模块的功能。 Transformer主要用于在大型文本上为NLP预先训练通用模型。如果您想了解更多信息，强烈建议您阅读介绍该体系结构的文章"Attention is All You Need"。如果您听说过类似BERT or GPT-2的模型，这些就是变压器的示例。

当您问如何“将一个图像转换为另一个图像”时，您还不清楚要完成什么。我在想，也许您正在寻找这个东西？ https://junyanz.github.io/CycleGAN/

无论如何，要再次回答您的问题：不，那不是您使用nn.Transformer的方式。您应该尝试阐明要“将一张图片转换为另一张图片”要完成的工作，并将该说明作为一个单独的问题发布。