我创建了一个神经网络并尝试对其进行训练,一切都很好,直到我加入了偏见。
从训练时我收集的偏差调整到向上或向下移动预期输出,并且权重趋向于帮助YHat模拟某些功能的值,因此对于双层网络:
output = tanh(tanh(X0W0 + b0)W1 + b1)
在实践中,我发现W是将所有权重设置为接近0,并且b几乎回显了Y的训练输出。这实质上使得输出对于训练的数据完美地工作,但是当你给它不同种类时数据总是会给出相同的输出。
这引起了一些混乱。我知道这种偏见'角色是向上或向下移动激活图,但是当谈到训练时,它似乎使神经网络的整个目的无关紧要。以下是我的培训方法的代码:
def train(self, X, Y, loss, epoch=10000):
for i in range(epoch):
YHat = self.forward(X)
loss.append(sum(Y - YHat))
err = -(Y - YHat)
for l in self.__layers[::-1]:
werr = np.sum(np.dot(l.localWGrad, err.T), axis=1)
werr.shape = (l.height, 1)
l.adjustWeights(werr)
err = np.sum(err, axis=1)
err.shape = (X.shape[0], 1)
l.adjustBiases(err)
err = np.multiply(err, l.localXGrad)
以及调整weghts和偏差的代码。 (注意:epsilon是我的训练率,lambda是正则化率)
def adjustWeights(self, err):
self.__weights = self.__weights - (err * self.__epsilon + self.__lambda * self.__weights)
def adjustBiases(self, err):
a = np.sum(np.multiply(err, self.localPartialGrad), axis=1) * self.__epsilon
a.shape = (err.shape[0], 1)
self.__biases = self.__biases - a
以下是我为此网络所做的数学计算。
Z0 = X0W0 + b0
X1 = relu(Z0)
Z1 = X1W1 + b1
X2 = relu(Z1)
a = YHat-X2
#Note the second part is for regularisation
loss = ((1/2)*(a^2)) + (lambda*(1/2)*(sum(W1^2) + sum(W2^2)))
现在衍生品
dloss/dW1 = -(YHat-X2)*relu'(X1W1 + b1)X1
dloss/dW0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)X0
dloss/db1 = -(YHat-X2)*relu'(X1W1 + b1)
dloss/db0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)
我猜测我做错了什么,但我不知道它是什么。我尝试在以下输入上训练此网络
X = np.array([[0.0], [1.0], [2.0], [3.0]])
Xnorm = X / np.amax(X)
Y = np.array([[0.0], [2.0], [4.0], [6.0]])
Ynorm = Y / np.amax(Y)
我把它作为输出:
post training:
shape: (4, 1)
[[0. ]
[1.99799666]
[3.99070622]
[5.72358125]]
Expected:
[[0.]
[2.]
[4.]
[6.]]
这似乎很棒...直到你转发别的东西:
shape: (4, 1)
[[2.]
[3.]
[4.]
[5.]]
然后我得到:
shape: (4, 1)
[[0.58289512]
[2.59967085]
[4.31654068]
[5.74322541]]
Expected:
[[4.]
[6.]
[8.]
[10.]]
我认为" perhapse这是邪恶的'过度拟合我听说过"并且决定添加一些正则化,但即使这并没有真正解决问题,为什么从逻辑角度理解它更快,更优化将偏差设置为等于输出并使权重为零......有人可以解释我的思维中出了什么问题吗?
这是训练后的网络结构,(注意如果你将输出乘以训练Y的最大值,你将得到预期的输出:)
===========================NeuralNetwork===========================
Layers:
===============Layer 0 :===============
Weights: (1, 3)
[[0.05539559 0.05539442 0.05539159]]
Biases: (4, 1)
[[0. ]
[0.22897166]
[0.56300199]
[1.30167665]]
==============\Layer 0 :===============
===============Layer 1 :===============
Weights: (3, 1)
[[0.29443245]
[0.29442639]
[0.29440642]]
Biases: (4, 1)
[[0. ]
[0.13199981]
[0.32762199]
[1.10023446]]
==============\Layer 1 :===============
==========================\NeuralNetwork===========================
图y = 2x在x = 0处具有y截距交叉,因此对于所有偏差都是有意义的。为0,因为我们没有向上或向下移动图表......对吗?
感谢您阅读此内容!
编辑:
这是损失图:
编辑2:
我只是尝试使用单个权重和输出执行此操作,这是我得到的输出结构:
===========================NeuralNetwork===========================
Layers:
===============Layer 0 :===============
Weights: (1, 1)
[[0.47149317]]
Biases: (4, 1)
[[0. ]
[0.18813419]
[0.48377987]
[1.33644038]]
==============\Layer 0 :===============
==========================\NeuralNetwork===========================
并为此输入:
shape: (4, 1)
[[2.]
[3.]
[4.]
[5.]]
我得到了这个输出:
shape: (4, 1)
[[4.41954787]
[5.53236625]
[5.89599366]
[5.99257962]]
再次应该是:
Expected:
[[4.]
[6.]
[8.]
[10.]]
注意偏差的问题仍然存在,你会认为在这种情况下权重为2,偏差为0。
答案 0 :(得分:0)
从OP的问题中移出答案
结果我从未正确处理过我的训练数据。输入向量:
[[0.0], [1.0], [2.0], [3.0]]
被归一化,我将此向量除以输入中的最大值3,因此我得到了
[[0.0], [0.3333], [0.6666], [1.0]]
对于我输入的Y训练向量
[[0.0], [2.0], [4.0], [6.0]]
我愚蠢地决定用这个向量做同样的事情,但是最大的Y 6:
[[0.0], [0.333], [0.666], [1.0]]
所以基本上我说'嘿嘿网络,模仿我的输入"。这是我的第一个错误。第二个错误是由于对缩放的误解造成的。
虽然1是0.333,而0.333 * 2 = 0.666,然后我乘以y(6)6 * 0.666 = 2的最大值,如果我再次尝试使用不同的数据集说:
[[2.0], [3.0], [4.0], [5.0]]
2将是2/5 = 0.4和0.4 * 2 = 0.8,其中5将是2,但是在现实世界中我们无法知道5是数据集的最大输出,因此我想想也许它会是Y训练的最大值,这是6而不是2/5 = 0.4,0.4 * 2 = 0.8 * 5,我做了2/5 = 0.4,0.4 * 2 = 0.8 * 6 = 4.8
因此,我得到了一些奇怪的偏见和权重行为。因此,在基本上摆脱了规范化之后,我可以自由地调整超参数,现在作为基础训练数据的输出:
输入:
X:
[[0.]
[1.]
[2.]
[3.]]
我得到了这个输出:
shape: (4, 1)
[[0.30926124]
[2.1030826 ]
[3.89690395]
[5.6907253 ]]
以及额外的测试数据(未经过培训):
shape: (4, 1)
[[2.]
[3.]
[4.]
[5.]]
我得到了这个输出:
shape: (4, 1)
[[3.89690395]
[5.6907253 ]
[7.48454666]
[9.27836801]]
所以现在我很高兴。我也把我的激活改为漏洞,因为它应该更符合线性方程式(我认为)。我确信有更多的测试数据和更多的超参数调整,这将是一个完美的选择。感谢大家的帮助。试图解释我的问题确实让事情变得透彻。