我们如何在PyTorch中将线性层的输出提供给Conv2D？

Question

我正在构建一个自动编码器，需要在其中将图像编码为长度为100的潜像。我的模型使用以下架构。

        self.conv1 = nn.Conv2d(in_channels = 3, out_channels = 32, kernel_size=3)
        self.conv2 = nn.Conv2d(in_channels=32,out_channels=64,kernel_size=3,stride=2)
        self.conv3 = nn.Conv2d(in_channels=64,out_channels=128,kernel_size=3,stride=2)

        self.linear = nn.Linear(in_features=128*30*30,out_features=100)

        self.conv1_transpose = nn.ConvTranspose2d(in_channels=128,out_channels=64,kernel_size=3,stride=2,output_padding=1)
        self.conv2_transpose = nn.ConvTranspose2d(in_channels=64,out_channels=32,kernel_size=3,stride=2,output_padding=1)
        self.conv3_transpose = nn.ConvTranspose2d(in_channels=32,out_channels=3,kernel_size=3,stride=1)  

是否可以将Linear层的输出提供给Conv2D或ConvTranspose2D层，以便重建图像？如果删除Linear层，将恢复输出。我想知道如何重建Linear层的图像

任何帮助将不胜感激。谢谢！

Answer 1

您可以使用另一个线性层：

self.linear2 = nn.Linear(in_features=100, out_features=128*30*30)

然后将输出重塑为3D体积，并将其传递到反卷积层。