Question

我正在尝试在不带ANN模块的python中实现单个ReLU神经元。我对找到具有ReLU激活的损失函数的导数感到困惑。

我试图用谷歌搜索它，但是我只设法找到了整个网络的实现，所以它没有帮助。

这是我的代码：（请注意，我们为偏差和权重使用了单独的变量）

def relu(x):
    return np.maximum(x, 0)

def relu_derivative(y):
    return 1. * (y > 0)

class NeuronReLU:
    def __init__(self, w=None, b=0):
        self.w = w
        self.b = b

    def activate(self, x):
        return relu(np.dot(x, self.w) + self.b)

    def forward_pass(self, x):
        n = x.shape[0]
        y_pred = np.zeros((n, 1))  

        y_pred = self.activate(x)
        return y_pred.reshape(-1, 1)

    def backward_pass(self, x, y, y_pred, learning_rate=0.005):
        n = len(y)
        y = np.array(y).reshape(-1, 1)

        delta_w = ...
        delta_b = ...

        self.w -= learning_rate * delta_w
        self.b -= learning_rate * delta_b

    def fit(self, x, y, num_epochs=300):
        if self.w is None:
            self.w = np.zeros((x.shape[1], 1)) 
            self.b = 0 
        Loss_values = []  

        for i in range(num_epochs):
            y_pred = self.forward_pass(x)
            Loss_values.append(Loss(y_pred, y))
            self.backward_pass(x, y, y_pred)

        return Loss_values

所以问题是我不知道如何计算偏导数。我有2个选择：

第一（不使用relu（）和relu_derivative（））：

if np.dot(x, w) + b > 0: 
    delta_w = (np.dot(X.T, (y_pred - y)) / n)
    delta_b = np.mean(y_pred - y)
else: 
    delta_w = 0
    delta_b = 0

我是否需要检查np.dot（x，w）+ b> 0逐元素还是使用.all（）？

第二（使用relu（）和relu_derivative（））：

delta_w = (relu_derivative(y_pred) * (y_pred - y))
delta_b = ?

如我所见，我们的relu_derivative（）是一个变量的函数，因此它没有偏导数。而且relu_derivative（y_pred）和（y_pred-y）都是向量，因此delta_w具有不同的维数。

Python中的ReLU神经元

0 个答案: