Question

用可学习的阈值限制ReLU激活的正确方法是什么？这是我的实现方式，但是我不确定这是否正确：

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        self.act_max = nn.Parameter(torch.Tensor([0]), requires_grad=True)

        self.conv1 = nn.Conv2d(3, 32, kernel_size=5)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=5)
        self.pool = nn.MaxPool2d(2, 2)
        self.relu = nn.ReLU()
        self.linear = nn.Linear(64 * 5 * 5, 10)

    def forward(self, input):
        conv1 = self.conv1(input)
        pool1 = self.pool(conv1)
        relu1 = self.relu(pool1)

        relu1[relu1 > self.act_max] = self.act_max

        conv2 = self.conv2(relu1)
        pool2 = self.pool(conv2)
        relu2 = self.relu(pool2)
        relu2 = relu2.view(relu2.size(0), -1)
        linear = self.linear(relu2)
        return linear


model = Net()
torch.nn.init.kaiming_normal_(model.parameters)
nn.init.constant(model.act_max, 1.0)
model = model.cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
for epoch in range(100):
    for i in range(1000):
        output = model(input)
        loss = nn.CrossEntropyLoss()(output, label)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        model.act_max.data = model.act_max.data - 0.001 * model.act_max.grad.data

我必须添加最后一行，因为没有它，由于某种原因该值将不会更新。

更新：我现在正在尝试一种基于激活梯度来计算uppper界限（act_max）的方法：

对于超出阈值（relu1 [relu1> self.act_max]）的所有激活，请查看它们的梯度：计算所有这些梯度指向的平均方向。
对于所有低于阈值的正向激活，请计算他们想要改变方向的平均梯度。

Answer 1

该代码有两个问题。

实现级别的一个问题是您使用的是就地操作，通常不适用于autograd。代替

relu1[relu1 > self.act_max] = self.act_max

您应该使用类似的替代操作

relu1 = torch.where(relu1 > self.act_max, self.act_max, relu1)

另一个更为笼统：神经网络通常使用梯度下降方法进行训练，并且阈值可以没有梯度-损失函数在阈值方面是不可微分的。

在模型中，您正在使用肮脏的方法（无论您编写的是原样还是使用torch.where）-model.act_max.grad.data的定义仅是因为某些元素的值设置为{{1 }}。但是这个梯度对于为什么设置为该值一无所知。为了使事情更具体，让我们定义截止操作model.act_max，该操作定义C(x, t)是高于还是低于阈值x

t

并将剪裁操作作为产品编写

C(x, t) = 1 if x < t else 0

然后您可以看到阈值clip(x, t) = C(x, t) * x + (1 - C(x, t)) * t具有双重含义：它控制何时截止（在t内部），并且控制阈值以上的值（尾随C）。因此，我们可以将操作概括为

t

您的操作存在的问题是，它仅与clip(x, t1, t2) = C(x, t1) * x + (1 - C(x, t1)) * t2有关，而与t2没有区别。您的解决方案将两者捆绑在一起，以使t1生效，但是仍然存在梯度下降的情况，好像没有改变阈值，只是改变了阈值之上。

由于这个原因，通常，您的阈值操作可能不会学习您希望它学习的值。这是开发操作时要记住的事情，而不是失败的保证-实际上，如果您考虑某个线性单元的偏置输出的标准t1 == t2，我们会得到类似的图片。我们定义了截止操作ReLU

H

和H(x, t) = 1 if x > t else 0为

ReLU

我们可以再次概括为

ReLU(x + b, t) = (x + b) * H(x + b, t) = (x + b) * H(x, t - b)

同样，我们只能学习 ReLU(x, b, t) = (x + b) * H(x, t)，并且b隐式地跟随在t之后。似乎可行：）

Pytorch：剪辑激活的可学习阈值

1 个答案: