在CNN中使用此代码时，反向传播会按预期工作吗？

Question

我想在CNN中使用swish（作为图层）。

我不确定这是否是实现这种激活功能的正确方法。

此代码能否正确传播回传？

class Swish(nn.Module):
    def forward(self,x):
        return x * F.sigmoid(x)

有关我正在使用哪种编程语言的相关信息，可以在标记中找到。

Answer 1

是的，它将立即可用。

我不明白为什么将它做成一个对象，像这样的函数会更容易并且更易读懂IMO（它会更好地反映它的功能性质）：

def swish(x):
    return x * torch.nn.functional.sigmoid(x)

如果您不使用任何torch.nn.Module（例如可学习的parameters权重，CNN或其他），则不需要torch.nn.Linear。