Question

我已经实现了以下神经网络来解决Python中的XOR问题。我的神经网络由2个神经元的输入层，2个神经元的隐藏层和1个神经元的输出层组成。我使用Sigmoid函数作为隐藏层和输出层的激活函数。有人可以解释一下我做错了什么。

import numpy
import scipy.special

class NeuralNetwork:
    def __init__(self, inputNodes, hiddenNodes, outputNodes, learningRate):
        self.iNodes = inputNodes
        self.hNodes = hiddenNodes
        self.oNodes = outputNodes

        self.wIH = numpy.random.normal(0.0, pow(self.iNodes, -0.5), (self.hNodes, self.iNodes))
        self.wOH = numpy.random.normal(0.0, pow(self.hNodes, -0.5), (self.oNodes, self.hNodes))

        self.lr = learningRate

        self.activationFunction = lambda x: scipy.special.expit(x)

    def train(self, inputList, targetList):
        inputs = numpy.array(inputList, ndmin=2).T
        targets = numpy.array(targetList, ndmin=2).T

        #print(inputs, targets)
        hiddenInputs = numpy.dot(self.wIH, inputs)
        hiddenOutputs = self.activationFunction(hiddenInputs)

        finalInputs = numpy.dot(self.wOH, hiddenOutputs)
        finalOutputs = self.activationFunction(finalInputs)

        outputErrors = targets - finalOutputs

        hiddenErrors = numpy.dot(self.wOH.T, outputErrors)

        self.wOH += self.lr * numpy.dot((outputErrors * finalOutputs * (1.0 - finalOutputs)), numpy.transpose(hiddenOutputs))
        self.wIH += self.lr * numpy.dot((hiddenErrors * hiddenOutputs * (1.0 - hiddenOutputs)), numpy.transpose(inputs))

    def query(self, inputList):
        inputs = numpy.array(inputList, ndmin=2).T

        hiddenInputs = numpy.dot(self.wIH, inputs)
        hiddenOutputs = self.activationFunction(hiddenInputs)

        finalInputs = numpy.dot(self.wOH, hiddenOutputs)
        finalOutputs = self.activationFunction(finalInputs)

        return finalOutputs



nn = NeuralNetwork(2, 2, 1, 0.01)

data = [[0, 0, 0], [0, 1, 1], [1, 0, 1], [1, 1, 0]]
epochs = 10

for e in range(epochs):
    for record in data:
        inputs = numpy.asfarray(record[1:])
        targets = record[0]
        #print(targets)
        #print(inputs, targets)
        nn.train(inputs, targets)


print(nn.query([0, 0]))
print(nn.query([1, 0]))
print(nn.query([0, 1]))
print(nn.query([1, 1]))

Answer 1

有几个原因。

我认为您不应该使用所有内容的激活功能，尤其是在您的查询功能中。我认为你已经用激活值混淆了神经元对神经元加权（wIH和wOH）的想法。
由于您的混乱，您错过了重新使用查询功能作为培训的一部分的想法。您应该将其视为输出的前馈激活水平，将结果与目标输出进行比较，得出一组误差，然后使用S形函数的导数向后反馈以调整权重。

我会将函数及其衍生物放入而不是从scipy导入，因为它们非常简单。另外＆＃34;它的推荐＆＃34;使用tanh和d / dx.tanh作为隐藏层功能（不记得为什么，可能不需要这个简单的网络）

# transfer functions
def sigmoid(x):
  return 1 / (1 + np.exp(-x))

# derivative of sigmoid
def dsigmoid(y):
  return y * (1.0 - y)

# using tanh over logistic sigmoid for the hidden layer is recommended  
def tanh(x):
  return np.tanh(x)

# derivative for tanh sigmoid
def dtanh(y):
  return 1 - y*y

最后，你可能能够在这里使用神经网络找出我之前做过的事情https://github.com/paddywwoof/Machine-Learning/blob/master/perceptron.py

为什么我的XOR神经网络会聚到0.5，python

1 个答案: