Question

import numpy as np

np.random.seed(0)
a = np.random.randint(1,100, size= 1000).reshape(1000,1)
b = np.random.randint(0,2, size=1000).reshape(1000,1)

y = np.where(b==0,a*2, a*3)

X = np.hstack((a,b))
y = y

from sklearn.preprocessing import StandardScaler

sx = StandardScaler()
X = sx.fit_transform(X)

sy = StandardScaler()
y = sy.fit_transform(y)

w0 = np.random.normal(size=(2,1), scale=0.1)



for i in range(100):
    input_layer = X
    output_layer = X.dot(w0) 

    error = y - output_layer
    square_error = np.sqrt(np.mean(error**2))

    print(square_error)



    w0+= input_layer.T.dot(error)

如果我理解正确，线性激活函数总是f（x）= x。

如果你查看这段代码，你会看到方差错在增长和增长，我不知道如何用NN解决这个简单的线性问题。我知道还有其他模型和库，但我试图这样做。

Answer 1

您未将学习率（请参阅here和更正式的讨论here）纳入您的模型。当您训练网络时，您还需要选择学习率参数，这对您的损失是否会减少以及收敛速度有很大影响。

通过设置

w0+= input_layer.T.dot(error)

你选择学习率为1，结果证明太大了。如果你改为设置

w0+= 0.0005*input_layer.T.dot(error)

（即选择学习率0.0005）损失将减少：

1.0017425183
0.521060951473
0.303777564629
0.21993949808
0.193933601196
0.18700323975
0.185262617455
0.184832603515
0.184726763539
.
.
.

它不会收敛到0，因为你的模型不是线性的。最后，你获得的权重w0是

array([[ 0.92486712],
       [ 0.318241  ]])

我的线性回归神经网络有什么问题

1 个答案: