Question

我正在玩Keras和一个虚拟数据集。我想看看神经网络与具有RBF内核的标准SVM相比会有多好。任务很简单：在集合{0,1,2}中预测20-dim向量的类。

我注意到神经网络非常糟糕。 SVM大约90％是正确的，而神经网络的比例为40％。我的代码中我做错了什么？这很可能是我的错误，但在NN上尝试各种参数几个小时之后，我已经放弃了。

代码

from sklearn.datasets import make_multilabel_classification
from sklearn.svm import SVC

from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.optimizers import SGD, RMSprop
from keras.utils import np_utils
from keras.datasets import mnist

# generate some data
dummyX, dummyY = make_multilabel_classification(n_samples=4000, n_features=20, n_classes=3)

# neural network
model = Sequential()
model.add(Dense(20, input_dim=20))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(20))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(3))
model.add(Activation('softmax'))

model.compile(loss='mean_squared_error',
          optimizer='sgd',
          metrics=['accuracy'])

X_train, X_test, y_train, y_test = train_test_split(dummyX, dummyY, test_size=0.20, random_state=42)

model.fit(X_train, y_train,nb_epoch=20, batch_size=30, validation_data=(X_test, y_test))
# Epoch 20/20
# 3200/3200 [==============================] - 0s - loss: 0.2469 - acc: 0.4366 - val_loss: 0.2468 - val_acc: 0.4063
# Out[460]:


# SVM - note that y_train and test are binary label. I haven't included the multi class converter code here for brevity
svm = SVC()
svm.fit(X_train, y_train)
svm.score(X_test, y_test)
# 0.891249

TL; DR

制作虚拟数据;神经网络吸吮; SVM踢了它。请帮忙

Answer 1

经过几次尝试，我发现无论学习技巧如何，准确度在0.3到0.9之间波动。我认为这是由于随机和无意义的数据而发生的 - 几乎不可能识别出白噪声中的任何特征

我建议使用像MNIST这样有意义的数据集来比较不同方法的准确性

关于参数。正如它提到的Matias，最好在这种情况下使用categorical_crossentropy。如果您不想手动调整参数，我建议使用adadelta优化器

Keras低精度分类任务

1 个答案: