优化收敛的神经网络输入

Question

我正在构建用于图像分类/识别的神经网络。 10个类中的每一个都有1000个图像（30x30灰度）。不同类的图像放在不同的文件夹中。我计划使用反向传播算法训练网络。

1. 我将培训示例提供给网络的顺序是否会影响它的收敛？
2. 我应该以随机顺序提供培训示例吗？

Answer 1

首先我会回答你的问题

1. 是的，它会影响它的收敛性
2. 是的，我们鼓励这样做，它被称为 随机安排

但为什么呢？

引自here

大多数ANN软件中的一个常见示例是IRIS data，其中包含数据集的150个实例。这些是三种不同类型的鸢尾花（Versicola，Virginics和Setosa）。数据集包含四个变量（萼片长度和宽度，花瓣长度和宽度）的测量值。案件的安排使第一箱50件属于Setosa，而案件51-100属于Versicola，其余属于Virginica。现在，您不想做的是按顺序将它们呈现给网络。换句话说，您不希望网络在Versicola类中查看所有50个实例，然后在Virginics类中查看所有50个实例，然后在Setosa类中查看所有50个实例。如果没有随机化，你的训练集就不能代表所有的类，因此也没有收敛，也无法概括。

另一个例子，在过去我每个字母表（26个班级）也有100个图像， 当我按顺序（按字母顺序）训练它们时，它无法收敛但在我随机化之后它很容易收敛，因为神经网络可以推广字母表。