脉冲(尖峰)神经网络是否优于复发神经网络?

时间:2011-03-28 14:14:02

标签: artificial-intelligence machine-learning neural-network

脉冲和递归神经网络都可以对时变信息进行建模。但我不确定哪种模型相对于计算成本更好。是否需要使用更复杂的推式神经网络,或者递归神经网络是否也需要更少的计算?脉冲网是否会更快收敛?

由于

2 个答案:

答案 0 :(得分:3)

我不相信你正在以正确的方式看问题。神经网络(或任何预测模型)最重要的特性是它的准确性。如果它更准确(和预测性),我宁愿花费10倍的时间来构建模型。

有许多标准技术可用于评估模型的预测能力,例如 *留一交叉验证
*多次交叉验证 * Fisher随机化(http://en.wikipedia.org/wiki/Ronald_Fisher)

建立预测模型还有许多指导原则,例如 * occam的剃须刀
*避免过度装配(http://web.engr.oregonstate.edu/~tgd/classes/534/slides/part10.pdf)
*过度拟合的惩罚(http://en.wikipedia.org/wiki/Regularization_(数学))

以下是一些可以查找更多信息的地方 http://predictivemodelingblog.blogspot.com/
http://www.statsoft.com/textbook/data-mining-techniques/

底线:寻找可以解释数据的最简单模型

答案 1 :(得分:0)

让我来回答一下原始问题,这个问题特定于尖峰神经网络的表现。我最近才开始熟悉尖头网,但到目前为止,我发现他们的表现最好的评论是HélènePaugam-Moisy和Sander Bohte的专着“计算与尖峰神经元网络”,它没有付费墙{ {3}}和其他网站。

从这个来源看,一般来说,它们在其天生的能力意义上表现良好;尖峰网络是普遍的近似,就像普通神经网络中的一些亲属一样,它们的“计算能力优于图灵机”。 (第5页,Paugam-Moisy和Bohte)。实际上,对于B型尖峰神经元,Wolfgang Maass“得出结论,尖峰神经元网络在计算上比第一代和第二代神经网络都更强大”,即感知器家族和具有连续激活的网类(p。 21,Paugam-Moisy和Bohte)。另一方面,它们容易出现加载问题,在本文讨论的某些条件下,加载问题可以是NP完全的。

就计算性能而言,尖峰网的各种亚型在其资源需求方面差别很大。在第12页,第14-15页Paugam-Moisy和Bohte给出了处理操作中一些差异的快速摘要:

  

“霍奇金 - 赫胥黎模型(HH)是现实的但是太复杂了   用于模拟SNN。虽然可以应用ODE9求解器   直接到微分方程组,它会   难以计算神经元之间的时间相互作用   Hodgkin-Huxley模型的大型网络。“

     

“......复杂性范围也可以表示为   模拟的计算要求。由于它由四个定义   微分方程,霍奇金 - 赫胥黎模型需要大约1200   每1ms模拟浮点计算(FLOPS)。简化为   两个微分方程,Morris-LeCar或FitzHugh-Nagumo模型   仍然有一到几百FLOPS的计算成本。只要   LIF模型需要5个FLOPS,大约10个FLOPS用于变体   例如LIF-with-adaptation和二次或指数   积分和火神经元,以及Izhikevich的13个FLOPS   模式“。

正如所料,计算能力与这些计算成本之间存在权衡; LIF可能需要很少的FLOPS,但在文章的后面他们详细说明了它不能达到其他尖峰的准确性。计算要求也将受到尖峰网编码方式的显着影响(我打算自己做,但还没有机会进行实验)。在第38-39页,Paugam-Moisy和Bohte强烈建议使用可以最大限度地利用并行性的事件驱动架构。我还建议查看他们广泛的参考书目,我相信这可以带来许多其他实用的性能提示。我希望有所帮助。