Question

我一直在神经网络上上课，并不真正理解为什么我从逻辑回归和两层神经网络（输入层和输出层）的准确度得分得到不同的结果。输出层使用sigmoid激活功能。根据我的学习，我们可以使用神经网络中的sigmoid激活函数来计算概率。如果与逻辑回归试图完成的内容完全相同，这应该非常相似。然后从那里backpropogate使用梯度下降最小化错误。可能有一个简单的解释，但我不明白为什么准确性得分变化如此之大。在这个例子中，我没有使用任何训练或测试集，只是简单的数据来演示我不理解的内容。

逻辑回归的准确率为71.4％。在下面的例子中，我刚刚为'X'和结果'y'数组创建了数字。当结果等于'1'时，我故意使'X'的数字更高，这样线性分类器就可以有一定的准确性。

import numpy as np
from sklearn.linear_model import LogisticRegression
X = np.array([[200, 100], [320, 90], [150, 60], [170, 20], [169, 75], [190, 65], [212, 132]])
y = np.array([[1], [1], [0], [0], [0], [0], [1]])

clf = LogisticRegression()
clf.fit(X,y)
clf.score(X,y) ##This results in a 71.4% accuracy score for logistic regression

然而，当我实现神经网络时，没有隐藏层，只使用sigmoid激活函数用于单节点输出层（因此总共有两层，输入和输出层）。我的准确率分数约为42.9％？为什么这与逻辑回归准确度得分显着不同？为什么这么低？

import keras
from keras.models import Sequential
from keras.utils.np_utils import to_categorical
from keras.layers import Dense, Dropout, Activation

model = Sequential()

#Create a neural network with 2 input nodes for the input layer and one node for the output layer. Using the sigmoid activation function
model.add(Dense(units=1, activation='sigmoid', input_dim=2))
model.summary()
model.compile(loss="binary_crossentropy", optimizer="adam", metrics = ['accuracy'])
model.fit(X,y, epochs=12)

model.evaluate(X,y) #The accuracy score will now show 42.9% for the neural network

Answer 1

你没有比较同样的事情。 Sklearn的LogisticRegression设置了许多你在Keras实现中没有使用的默认值。在考虑到这些差异时，我实际上得到的精度在1e-8之内，主要是：

迭代次数

在Keras，epochs期间fit()通过max_iter。您将其设置为12.在Sklearn中，LogisticRegression __init__()期间adam已通过。它默认为100。

<强>优化

您正在使用Keras中的LogisticRegression优化器，而liblinear默认使用solver优化器。 Sklearn称之为LogisticRegression。

<强>正则化

Sklearn的penalty默认使用L2正则化，而你在Keras中没有进行任何权重正则化。在Sklearn中，这是kernel_regularizer，在Keras中，您可以使用每个图层import numpy as np X = np.array([ [200, 100], [320, 90], [150, 60], [170, 20], [169, 75], [190, 65], [212, 132] ]) y = np.array([[1], [1], [0], [0], [0], [0], [1]])来规范权重。

这些实施都达到了0.5714％的准确度：

from sklearn.linear_model import LogisticRegression

# 'sag' is stochastic average gradient descent
lr = LogisticRegression(penalty='l2', solver='sag', max_iter=100)

lr.fit(X, y)
lr.score(X, y)
# 0.5714285714285714

Logistic回归

from keras.models import Sequential
from keras.layers import Dense
from keras.regularizers import l2

model = Sequential([
  Dense(units=1, activation='sigmoid', kernel_regularizer=l2(0.), input_shape=(2,))
])

model.compile(loss='binary_crossentropy', optimizer='sgd', metrics=['accuracy'])
model.fit(X, y, epochs=100)
model.evaluate(X, y)
# 0.57142859697341919

神经网络

UI

神经网络（无隐藏层）与Logistic回归？

1 个答案: