Question

我正在尝试通过人工神经网络创建数据预测模型。以下代码是通过许多书籍创建的基于Python的ANN代码的一部分。此外，预测值和实际值之间的错误率也不会低于19％。我试图增加隐藏层的数量，但是并没有极大地影响错误率。我认为这可能是Sigmoid函数的局限性，而不考虑Bias。我环顾了一个月，发现了如何构建ReLU和Bias，但是找不到Bias和ReLU的范围。

Q1 =如何将Sigmoid转换为ReLU，而Q2 =如何将Bias添加到代码中？

Q3 =另外，如果我将Sigmoid更改为ReLU，是否必须将数据集的范围设置为0.0〜1.0？这是因为Sigmoid函数接受0.0〜1.0范围的数据，但我不知道ReLU允许的范围。

很抱歉提出一个基本问题。

class neuralNetwork:
# initialize the neural network
def __init__(self, input_nodes, hidden_nodes, output_nodes, learning_rate):

#
    self.inodes = input_nodes
    self.hnodes = hidden_nodes
    self.onodes = output_nodes

    # link weight matrices, wih and who
    self.wih = numpy.random.normal(0.0, pow(self.hnodes, -0.5), (self.hnodes, self.inodes))
    self.who = numpy.random.normal(0.0, pow(self.onodes, -0.5), (self.onodes, self.hnodes))

    # learning rate
    self.lr = learning_rate

    # activation function is the sigmoid function
    self.activation_function = lambda x: scipy.special.expit(x)

    pass

# train the neural network
def train(self, inputs_list, targets_list):
    # convert inputs list to 2d array
    inputs = numpy.array(inputs_list, ndmin=2).T
    targets = numpy.array(targets_list, ndmin=2).T

    # calculate signals into hidden layer
    hidden_inputs = numpy.dot(self.wih, inputs)
    # calculate the signals emerging from hidden layer
    hidden_outputs = self.activation_function(hidden_inputs)

    # calculate signals into final output layer
    final_inputs = numpy.dot(self.who, hidden_outputs)
    # calculate the signals emerging from final output layer
    final_outputs = self.activation_function(final_inputs)

    # output layer error is the (target - actual)
    output_errors = targets - final_outputs
    # hidden layer error is the output_errors, split by weights, recombined at hidden nodes
    hidden_errors = numpy.dot(self.who.T, output_errors)

    # update the weights for the links between the hidden and output layers
    self.who += self.lr*numpy.dot((output_errors*final_outputs*(1.0-final_outputs)), numpy.transpose(hidden_outputs))
    # update the weights for the links between the input and output layers
    self.wih += self.lr*numpy.dot((hidden_errors*hidden_outputs*(1.0-hidden_outputs)), numpy.transpose(inputs))

    pass

# query the neural network
def query(self, inputs_list) :

    inputs = numpy.array(inputs_list, ndmin=2).T

    # convert hidden list to 2d array
    hidden_inputs = numpy.dot(self.wih, inputs)
    # calculate signals into hidden layer
    hidden_outputs = self.activation_function(hidden_inputs)


    final_inputs = numpy.dot(self.who, hidden_outputs)
    final_outputs = self.activation_function(final_inputs)
    return final_outputs        
    pass

Answer 1

您的问题过于笼统，ReLU和Sigmoid背后有很多概念。

但总而言之：
乙状结肠饱和和终止渐变（请参见Gradient descent），乙状结肠的中心不是零，因为乙状结肠的输出为0<output<1。我可以看到您正在使用的乙状结肠 scipy，但对于ReLU来说很容易。 Relu由以下功能定义

f(x) = max(0,x)

这意味着如果输入大于0，则返回输入，否则返回0。对于隐藏层，首选ReLU，对于输出层，则首选softmax。

我会说，看起来不同的激活函数以及为什么我们需要神经网络上的激活函数。乙状结肠如何杀死梯度，以及为什么它们会收敛。

Q1 =如何将Sigmoid转换为ReLU，Q2 =如何向我的代码中添加Bias？
只需根据上面的ReLU函数自行编写一个方法，然后更新以下行

self.activation_function = max(0,x) # instead of lambda x: scipy.special.expit(x)

Q3 =另外，如果我将Sigmoid更改为ReLU，是否必须将数据集的范围设置为0.0〜1.0？这是因为Sigmoid函数接受0.0〜1.0范围的数据，但我不知道ReLU允许的范围。

该问题的答案取决于您的网络和数据，但是是的，您可以对数据进行标准化。并不需要输入数据范围。因为对于ReLU：如果input小于零，则它将返回0并且如果input> = 0 ，它将返回input。因此，没有像乙状结肠这样的范围。 Answer of this question

如果您想了解ReLU的工作原理和使用方法，尽管使用框架（PyTorch）编写了这些示例来构建网络并进行培训，但下面的详细示例将有所帮助。

PyTorch基本项目Link
ReLU vs乙状结肠与TanH Video

如何在ANN中设置偏置并将Sigmoid更改为ReLU功能？

1 个答案: