是否可以训练具有少量实例的神经网络？

Question

当我需要解决回归任务并尽可能使用最小实例时，我遇到了一些问题。当我尝试使用Xgboost时，我必须提供4个实例以获得合理的结果。但多层感知器调整到克服回归问题必须采取20个实例，试图改变神经元和层的数量，但答案仍然是20。是否有可能做一些事情使神经网络解决2至4个实例的回复任务？如果是 - 请解释我应该怎样做才能成功呢？也许在Perceptron培训和获得合理结果需要多少实例以及数据集中的特征如何有价值之间存在一定的相关性？

提前感谢您提供任何帮助

Answer 1

使用少量样本，可能有更好的应用方法，Xgaboost绝对会成为一种可以避免过度拟合的方法。

神经网络往往适用于大量样本。它们通常过于适合小型数据集而且表现不如其他算法。

然而，在使用神经网络的半监督技术方面存在一个活跃的研究领域，该神经网络具有大量未标记数据的数据集和标记样本的小数据集。

这是一篇文章，让你沿着这条路走下去，搜索“半监督学习”。

http://vdel.me.cmu.edu/publications/2011cgev/paper.pdf

减少较小数据集中过度拟合的另一个重要领域是多任务学习。

http://ruder.io/multi-task/

多任务学习要求网络为给定输入实现多个目标目标。添加更多需求往往会减少网络可以收敛的解决方案的空间，并且通常会因此而获得更好的结果。换句话说：当定义多个目标时，在一项任务中做得好的参数通常对另一项任务有利，反之亦然。

最后，另一个开放式研究领域是GAN以及如何将它们用于半监督学习。刚才没有论文突然出现在我的脑海中，所以我将把这一点作为脚注留下。