Question

该程序导致非线性函数溢出。最后，输出在所有元素中都是纳米。

import numpy as np 

def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)

    return 1/(1+np.exp(-x))

X = np.array([[0,0],[0,1],[1,0],[1,1]])
Y = np.array([[0],[1],[1],[0]])

w1 = np.random.random((2,2))
w2 = np.random.random((2,1))

for i in range(1000):
    a0 = X
    z1 = np.dot(a0,w1)
    a1 = nonlin(z1)

    z2 = np.dot(a1,w2)
    a2 = nonlin(z2)
    C = Y-a2
    #if(i%10==0):
    #   print(np.mean(np.abs(C)))

    Cdz2 = C*nonlin(z2,True)
    Cdz1 = Cdz2.dot(w2.T)*nonlin(z1,True)

    w2 += a1.T.dot(Cdz2)
    w1 += a0.T.dot(Cdz1)

print(a2)

反向传播方法在非线性函数中给出运行时警告。

Answer 1

您选择的变量名称可能会有点误导：z通常是非线性的输出，而您将其用于线性组合，并且您将a用于输入和输出。

在反向传播步骤中，您需要在应用非线性之后计算隐藏和输出图层的输出的导数。

在你的情况下应该

Cdz2 = C*nonlin(a2,True)
Cdz1 = Cdz2.dot(w2.T)*nonlin(a1,True)

其中z2变为a2而z1变为a1

通过这种改变，我得知：

[[ 0.23807658]
 [ 0.70736702]
 [ 0.70728018]
 [ 0.37925629]]

在1000步骤和

之后

[[ 0.01972628]
 [ 0.95332159]
 [ 0.95332158]
 [ 0.06245363]]

在20000步之后

。

我建议你使用更明智的变量名，如果你跟随教科书只是使用相同的符号，那么就可以更容易地看到公式如何转化为代码。

为什么这个神经网络会给出运行时警告？

1 个答案: