具有神经网络的XOR门

Question

我试图用tensorflow实现一个XOR门。我成功地实现了这一点，但我并不完全理解它的工作原理。我从stackoverflow帖子here和here获得了帮助。因此，one hot true和without one hot true输出都是如此。这是我理解的网络，以便明确事项。

我的问题＃1： 请注意RELU函数和Sigmoid函数。为什么我们需要它（特别是RELU函数）？你可能会说，为了实现非线性。我理解RELU如何实现非线性。我从here得到了答案。现在根据我的理解，使用RELU和不使用RELU之间的区别就是这个（见图）。[我测试了tf.nn.relu函数。输出就像这样]

现在，如果第一个函数有效，为什么不是第二个函数呢？从我的观点来看，RELU通过组合多个线性函数实现了非线性。所以两者都是线性函数（上面两个）。如果第一个实现非线性，第二个也应该实现非线性，不应该吗？问题是，如果没有使用RELU网络被卡住的原因？

具有一个热输出的XOR门

hidden1_neuron = 10

def Network(x, weights, bias):
    layer1 = tf.nn.relu(tf.matmul(x, weights['h1']) + bias['h1'])
    layer_final = tf.matmul(layer1, weights['out']) + bias['out']
    return layer_final

weight = {
    'h1' : tf.Variable(tf.random_normal([2, hidden1_neuron])),
    'out': tf.Variable(tf.random_normal([hidden1_neuron, 2]))
}
bias = {
    'h1' : tf.Variable(tf.random_normal([hidden1_neuron])),
    'out': tf.Variable(tf.random_normal([2]))
}

x = tf.placeholder(tf.float32, [None, 2])
y = tf.placeholder(tf.float32, [None, 2])

net = Network(x, weight, bias)

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(net, y)
loss = tf.reduce_mean(cross_entropy)

train_op = tf.train.AdamOptimizer(0.2).minimize(loss)

init_op = tf.initialize_all_variables()

xTrain = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
yTrain = np.array([[1, 0], [0, 1], [0, 1], [1, 0]])

with tf.Session() as sess:
    sess.run(init_op)
    for i in range(5000):
        train_data = sess.run(train_op, feed_dict={x: xTrain, y: yTrain})
        loss_val = sess.run(loss, feed_dict={x: xTrain, y: yTrain})
        if(not(i%500)):
            print(loss_val)

    result = sess.run(net, feed_dict={x:xTrain})
    print(result)

您在上面看到的代码实现了具有一个热真输出的XOR门。如果我拿出tf.nn.relu，网络就会卡住。为什么呢？

我的问题＃2： 我如何理解网络是否会陷入局部最小值[或某些值]？它来自成本函数（或损失函数）的图吗？比方说，对于上面设计的网络，我使用交叉熵作为损失函数。我找不到交叉熵函数的绘图。 （如果你能提供这个，那将非常有帮助。）

我的问题＃3： 请注意代码中有一行hidden1_neuron = 10。这意味着我已经设置了隐藏层10中的神经元数量。将神经元数量减少到5会使网络卡住。那么隐藏层上的神经元数量应该是多少？

当网络以预期的方式工作时的输出：

2.42076
0.000456363
0.000149548
7.40216e-05
4.34194e-05
2.78939e-05
1.8924e-05
1.33214e-05
9.62602e-06
7.06308e-06
[[ 7.5128479  -7.58900356]
 [-5.65254211  5.28509617]
 [-6.96340656  6.62380219]
 [ 7.26610374 -5.9665451 ]]

网络卡住时的输出：

1.45679
0.346579
0.346575
0.346575
0.346574
0.346574
0.346574
0.346574
0.346574
0.346574
[[ 15.70696926 -18.21559143]
 [ -7.1562047    9.75774956]
 [ -0.03214722  -0.03214724]
 [ -0.03214722  -0.03214724]]

Answer 1

问题1

ReLU和Sigmoid函数都是非线性的。相反，绘制在ReLU函数右侧的函数是线性的。应用多个线性激活函数仍将使网络线性化。

因此，当尝试对非线性问题执行线性回归时，网络会卡住。

问题2

是的，您必须注意错误率的进展。在较大的问题实例中，您通常会注意在测试集上开发错误函数。这是通过在一段时间的训练后测量网络的准确性来完成的。

问题3

XOR问题需要至少2个输入，2个隐藏和1个输出节点，即：需要五个节点才能通过简单的神经网络正确建模XOR问题。