训练神经网络以获取更新数据

Question

我有一个经过某些数据集训练的神经网络。假设数据集最初有1万个数据点，现在又添加了100个数据点。我的神经网络有没有一种方法可以学习整个（更新的）数据集而无需从头开始训练？此外，灾难性干扰在这里适用吗？我知道灾难性干扰在NN尝试学习“新信息”时适用，但我不确定“更新（由于插入）信息”是否算作“新信息”。

Answer 1

实际上，不幸的是，灾难性干扰（或遗忘）适用于您的情况。 但是深度学习有一个分支专门解决这个问题，名为Continual Learning。

Answer 2

Online Learning是指适应增量可用/连续输入数据流的模型。

灾难性干扰确实是一个问题，具体取决于您的模型，数据和问题。

如果您认为：

1. 您的新数据D2是i.i.d，是从与原始数据集D1相同的分布中采样的
2. 您的原始模型是使用数据集的“迷你批次”进行训练的
3. D2的大小> =使用的迷你批处理的大小

您可以将D2拆分为新的迷你批次，并在上次中断的地方继续训练。

但是，如果不是这种情况，那么它确实很可能遭受灾难性遗忘，因为任务名义上是相同的，但是域（数据的基础分布）正在变化。在这种情况下，如果对整个（更新的）数据集进行再训练不可行，则需要研究专门设计用来减轻这种情况的Continual Learning方法。