Question

我正在尝试学习一些神经网络以取乐。我决定尝试从kaggle的数据集中对一些神奇宝贝传奇卡片进行分类。我阅读了文档并遵循了机器学习的精通指南，同时阅读了各种介质以尝试理解该过程。

我的问题/问题：我尝试预测，但一切都预测为“ 0”。我认为那是错误的。是我的92％错误准确性？我在网上阅读了有关错误准确性的内容。

请帮助！

一些背景信息：数据集有800行，12列。我预测最后一列（是/否）。我正在使用具有数字和分类数据的属性。我标签编码数字类别。这些卡中有92％是False。 8％是正确的。

我采样并在200张卡上运行了一个神经网络，获得了91％的准确度……我还重置了所有内容，在所有800张卡上获得了92％的准确度。我过拟合吗？

谢谢您的帮助

dataFrame = dataFrame.fillna(value='NaN')

labelencoder = LabelEncoder()

numpy_dataframe = dataFrame.as_matrix()
numpy_dataframe[:, 0] = labelencoder.fit_transform(numpy_dataframe[:, 0])
numpy_dataframe[:, 1] = labelencoder.fit_transform(numpy_dataframe[:, 1])

numpy_dataframe
X = numpy_dataframe[:,0:10]
Y = numpy_dataframe[:,10]
model = Sequential()
model.add(Dense(12, input_dim=10, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X, Y, epochs=150, batch_size=10)
scores = model.evaluate(X, Y)
print("\n%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))

#this shows that we have 91.88% accuracy with the whole dataframe


dataFrame200False = dataFrame 
dataFrame200False['Legendary'] = dataFrame200False['Legendary'].astype(str)
dataFrame200False= dataFrame200False[dataFrame200False['Legendary'].str.contains("False")]

dataFrame65True = dataFrame

dataFrame65True['Legendary'] = dataFrame65True['Legendary'].astype(str)
dataFrame65True= dataFrame65True[dataFrame65True['Legendary'].str.contains("True")]

DataFrameFalseSample = dataFrame200False.sample(200)
DataFrameFalseSample

dataFrameSampledTrueFalse = dataFrame65True.append(DataFrameFalseSample, ignore_index=True)
dataFrameSampledTrueFalse

#label encoding the files
labelencoder = LabelEncoder()

numpy_dataSample = dataFrameSampledTrueFalse.as_matrix()
numpy_dataSample[:, 0] = labelencoder.fit_transform(numpy_dataSample[:, 0])
numpy_dataSample[:, 1] = labelencoder.fit_transform(numpy_dataSample[:, 1])

numpy_dataSample
a = numpy_dataframe[:,0:10]
b = numpy_dataframe[:,10]

model = Sequential()
model.add(Dense(12, input_dim=10, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(a, b, epochs=1000, batch_size=10)

scoresSample = model.evaluate(a, b)
print("\n%s: %.2f%%" % (model.metrics_names[1], scoresSample[1]*100))

dataFramePredictSample = dataFrame.sample(500)
labelencoder = LabelEncoder()

numpy_dataframeSamples = dataFramePredictSample.as_matrix()
numpy_dataframeSamples[:, 0] = labelencoder.fit_transform(numpy_dataframeSamples[:, 0])
numpy_dataframeSamples[:, 1] = labelencoder.fit_transform(numpy_dataframeSamples[:, 1])

Xnew = numpy_dataframeSamples[:,0:10]
Ynew = numpy_dataframeSamples[:,10]


# make a prediction
Y = model.predict_classes(Xnew)
# show the inputs and predicted outputs
for i in range(len(Xnew)):
    print("X=%s, Predicted=%s" % (Xnew[i], Y[i]))

Answer 1

问题：

问题是，正如您所说，您的数据集严重不平衡。这意味着与第1类相比，第0类的训练示例更多。这导致网络在训练过程中对预测第0类产生很大的偏见。

评估：

您应该做的第一件事是不使用准确性作为评估指标！我的建议是绘制一个混淆矩阵，以便您确切地看到模型的预测。您还可以研究宏平均（如果您不熟悉该技术，请阅读this）。

处理问题：

有两种方法可以改善模型的性能：

重新采样您的数据，以使其平衡。您在这里有几个选择。最常见的方法是过度采样（例如SMOTE）少数群体，使其覆盖多数群体。另一种选择是对样本进行采样（例如Clustering Centroids），以使多数群体降至少数群体。
在训练期间使用班级体重。这迫使网络更加关注以关注少数群体的样本（有关更多信息，请阅读this post）。

如何改善神经网络的预测，分类

1 个答案:

问题：

评估：

处理问题：