这是来自Wolfram科学会议的一个雄心勃勃的问题:是否存在递归函数的网络模拟这样的事情?也许是一种迭代的“map-reduce”模式?如果我们将迭代添加到交互中,事情就会变得复杂:大量交互实体的连续迭代会产生非常复杂的结果。如果能够看到定义复杂系统的无数交互的后果,那将是一件好事。我们能否在包含嵌套传播循环的连接节点的迭代网络中找到递归函数的对应物?
分布式计算的基本模式之一是Map-Reduce:它可以在元胞自动机(CA)和神经网络(NN)中找到。 NN中的神经元通过其突触(减少)收集信息并将其发送到其他神经元(图谱)。 CA中的单元格行为相似,它们从邻居收集信息(减少),应用转换规则(减少),并再次向其邻居提供结果。因此> if<有一个递归函数的网络模拟,然后Map-Reduce肯定是它的一个重要部分。存在什么样的迭代“map-reduce”模式?某些“地图缩减”模式是否会导致某些种类的流甚至漩涡或漩涡?我们可以为地图缩减模式制定一个微积分吗?
答案 0 :(得分:2)
我会对神经网络中的递归问题进行一次尝试,但我真的不知道map-reduce是如何发挥作用的。我得到神经网络可以执行分布式计算,然后将其减少到更本地的表示,但术语 map-reduce 是这个分布式/本地管道的一个非常特定的品牌,主要与谷歌和Hadoop相关联
无论如何,对你的问题的简单回答是,在神经网络中没有通用方法用于递归;实际上,在神经网络中实现通用角色值绑定这个非常相关的简单问题目前仍然是一个悬而未决的问题。
为什么像神经网络(ANNs)中的角色绑定和递归之类的东西如此困难的一般原则是人工神经网络本质上是非常相互依赖的;实际上,这是他们的大部分计算能力来自的地方。而函数调用和变量绑定都是非常划定的操作;它们所包含的内容是一种全有或全无的事物,在许多情况下,离散性是一种有价值的特性。因此,在不牺牲任何计算能力的情况下在另一个内部实现一个非常棘手。
这是一小部分论文,试图在部分解决方案。幸运的是,很多人发现这个问题非常有趣!
视觉分割和动态绑定问题:提高人工神经网络浮游生物分类器的稳健性(1993)
<强> A Solution to the Binding Problem for Compositional Connectionism 强>