Question

我正在使用MLP分类器对MNIST数据集进行数字分类。我观察到非常奇怪的行为。单层分类器优于多层分类器。虽然单层神经元数量的增加似乎正在提高准确性。为什么多层不比单层好？这是我的代码：

param_grid={'hidden_layer_sizes':[400,300,200,100,70,50,20,10]}
grid=GridSearchCV(MLPClassifier(random_state=1),param_grid,cv=3,scoring='accuracy')
grid.fit(train_data.iloc[:,1:],train_data.iloc[:,0])
grid.grid_scores_

输出：

[mean: 0.97590, std: 0.00111, params: {'hidden_layer_sizes': 400},
 mean: 0.97300, std: 0.00300, params: {'hidden_layer_sizes': 300},
 mean: 0.97271, std: 0.00065, params: {'hidden_layer_sizes': 200},
 mean: 0.97052, std: 0.00143, params: {'hidden_layer_sizes': 100},
 mean: 0.96507, std: 0.00262, params: {'hidden_layer_sizes': 70},
 mean: 0.96448, std: 0.00150, params: {'hidden_layer_sizes': 50},
 mean: 0.94531, std: 0.00378, params: {'hidden_layer_sizes': 20},
 mean: 0.92945, std: 0.00320, params: {'hidden_layer_sizes': 10}]

对于多层：

param_grid={'hidden_layer_sizes':[[200],[200,100],[200,100,50],[200,100,50,20],[200,100,50,20,10]]}
grid=GridSearchCV(MLPClassifier(random_state=1),param_grid,cv=3,scoring='accuracy')
grid.fit(train_data.iloc[:,1:],train_data.iloc[:,0])
grid.grid_scores_

输出：

[mean: 0.97271, std: 0.00065, params: {'hidden_layer_sizes': [200]},
 mean: 0.97255, std: 0.00325, params: {'hidden_layer_sizes': [200, 100]},
 mean: 0.97043, std: 0.00199, params: {'hidden_layer_sizes': [200, 100, 50]},
 mean: 0.96755, std: 0.00173, params: {'hidden_layer_sizes': [200, 100, 50, 20]},
 mean: 0.96086, std: 0.00511, params: {'hidden_layer_sizes': [200, 100, 50, 20, 10]}]

关于数据集：手写数字的28 * 28像素图像。

Answer 1

在我看来，你的模型过度拟合。您可以通过比较train_scores（使用参数return_train_score=True）和test_scores来检查。

如果它已经过度拟合，那么使你的NN更深或增加隐藏层中的单位可能会使情况变得更糟。因此，尝试获取更多数据和/或找到合适的alpha（正则化参数），以使您的模型更好地运行。

Answer 2

我只能给出理论上的答案：

有一个名为"Universal approximation theorem "的定理通常会说：“任何ANN和MLP都可以用只有1个隐藏层的MLP来表示。”

所以，这可能是你的问题。你的1层MLP对于这个问题有正确的参数，而另一方面，你还没有找到适合多层的正确参数。

编辑：更多图层并不意味着更好的表现。在人工神经网络中，有时候更大也不是更好。（XD）

为什么单层MLP比数字分类器中的多层更好？

2 个答案: