我很好奇即使是专业设计的网络也可能存在的那种限制。特别是这一点,我可以使用一些见解:
下式给出:
一组非平凡大小的随机整数(比如说至少500)
专业创建/训练的神经网络。
任务:
number anagram:创建在给定时间范围内可能的无限整数序列的最大表示 或者可以以封闭的形式表示(即 - n ^ 2,2x + 5等)或者是 在OEIS注册(http://oeis.org/)。用于创建的数字 可以按任何顺序从输入集中获取序列。所以,如果 网络被馈送(3,5,1,7 ......),返回(1,3,5,7 ...)将是一个 可接受的结果。
我的理解是可以训练ANN来寻找特定的序列模式(再次--n ^ 2,2x + 5等)。我想知道的是,是否可以识别更一般的模式,如n ^ y或xy + z。我的想法是,它不能够,因为n ^ y可以产生彼此看起来不同的序列,即稳定的基本模式'无法建立。这是人工神经网络工作方式所固有的(采用输入集合并对其经过培训的静态模式进行模糊匹配)是因为它们的范围有限。训练有素。
我有这个权利吗?
答案 0 :(得分:1)
继续我在评论中与你的对话:
神经网络仍然可能有用。可以训练神经网络来预测数据,而不是训练神经网络来搜索单个模式。如果数据包含可预测的模式,则NN可以学习它,并且NN的权重将表示它已经学习的模式。我想这可能是你打算做的事情。
如果您执行此操作可能对您有所帮助:
自动编码器执行无监督学习,可以学习单个数据点的结构。
回归神经网络可以对数据序列进行建模,而不仅仅是单个数据点。这听起来更像你正在寻找的东西。
Compositional Pattern-Producing Network(CPPNs)对于具有数学函数作为激活函数的神经网络来说是一个非常奇特的词。这将允许您使用简单的激活函数(如sigmoids或ReLU)来模拟不易被NN逼近的函数。但通常这不是必需的,所以在你有一个简单的NN工作之前不要太担心它。
Dropout是一种简单的技术,您可以在每次迭代中删除一半隐藏单位。这似乎严重减少了过度拟合。它可以防止神经元形成之间的复杂关系,这应该使模型更具可解释性,这似乎是你的目标。