大型重复输入集的神经网络

时间:2018-10-14 21:05:15

标签: machine-learning neural-network supervised-learning

假设我们要建立一个神经网络来预测一些参与者之间的比赛结果。

每个参加比赛的人都有各种统计数据:发动机功率,最大速度,驾驶员经验等。

现在想象我们被要求构建一个系统,该系统可以处理2到400名参与者中的任意数量(只是选择一个具体的数字)。

根据到目前为止我对“传统”神经网络的了解,我们的选择是:

  1. 为每个参与者数量建立许多不同的神经网络:n = 2、3、4、5,...,400。
  2. 训练一个神经网络,从400名参与者那里获取输入。当一条数据涉及少于400名参与者的比赛(这将是数据的很大一部分)时,只需将所有剩余的统计输入设置为0。

假设这行得通,是否有理由期望一种方法比另一种方法表现更好?

前者比较专业,但是每个网的训练数据少得多,所以我猜想它能达到大致相同的效果吗?

是否有解决此类问题的标准方法?

我们可以想象(简单地)神经网络首先对每个参与者的力量进行分类,因此,每次添加新参与者时,它都需要对这些新输入应用相同的分析,这可能暗示可能存在一种“智能”方式来减少所需的工作总量。

这只是对卷积神经网络的尖叫吗?

1 个答案:

答案 0 :(得分:1)

在您的两个选项之间,选项1将涉及重复很多努力来训练不同大小的东西,结果可能会非常缓慢。

选项2更可行,但是网络将需要对不同大小的输入进行额外的培训。

我认为最可能起作用的另一种选择是,仅训练神经网络在两个参与者之间选择一个获胜者,然后使用它通过对之间的多次比较来创建排名。 here描述了这种方法。

  

我们可以想象(简单地)神经网络首先对每个参与者的力量进行分类,因此,每次添加新参与者时,它都需要对这些新输入应用相同的分析,这可能暗示可能存在一种“智能”方式来减少所需的工作总量。

我认为您在这里有了主要想法。由于我们希望对每个参与者执行完全相同的分析(假设他们是参与者1还是参与者400都没有区别),所以这对于 Weight Sharing 是一个理想的问题。这意味着对每个参与者进行初始分析的神经元的权重是相同的。当一名参与者的权重发生变化时,所有参与者的权重发生变化。

尽管CNN确实使用权重分配,但我们无需使用CNN即可使用此技术。您将如何执行此操作的详细信息取决于您的框架。