脉冲和递归神经网络都可以对时变信息进行建模。但我不确定哪种模型相对于计算成本更好。是否需要使用更复杂的推式神经网络,或者递归神经网络是否也需要更少的计算?脉冲网是否会更快收敛?
由于
答案 0 :(得分:3)
我不相信你正在以正确的方式看问题。神经网络(或任何预测模型)最重要的特性是它的准确性。如果它更准确(和预测性),我宁愿花费10倍的时间来构建模型。
有许多标准技术可用于评估模型的预测能力,例如
*留一交叉验证
*多次交叉验证
* Fisher随机化(http://en.wikipedia.org/wiki/Ronald_Fisher)
建立预测模型还有许多指导原则,例如
* occam的剃须刀
*避免过度装配(http://web.engr.oregonstate.edu/~tgd/classes/534/slides/part10.pdf)
*过度拟合的惩罚(http://en.wikipedia.org/wiki/Regularization_(数学))
以下是一些可以查找更多信息的地方
http://predictivemodelingblog.blogspot.com/
http://www.statsoft.com/textbook/data-mining-techniques/
底线:寻找可以解释数据的最简单模型
答案 1 :(得分:0)
让我来回答一下原始问题,这个问题特定于尖峰神经网络的表现。我最近才开始熟悉尖头网,但到目前为止,我发现他们的表现最好的评论是HélènePaugam-Moisy和Sander Bohte的专着“计算与尖峰神经元网络”,它没有付费墙{ {3}}和其他网站。
从这个来源看,一般来说,它们在其天生的能力意义上表现良好;尖峰网络是普遍的近似,就像普通神经网络中的一些亲属一样,它们的“计算能力优于图灵机”。 (第5页,Paugam-Moisy和Bohte)。实际上,对于B型尖峰神经元,Wolfgang Maass“得出结论,尖峰神经元网络在计算上比第一代和第二代神经网络都更强大”,即感知器家族和具有连续激活的网类(p。 21,Paugam-Moisy和Bohte)。另一方面,它们容易出现加载问题,在本文讨论的某些条件下,加载问题可以是NP完全的。
就计算性能而言,尖峰网的各种亚型在其资源需求方面差别很大。在第12页,第14-15页Paugam-Moisy和Bohte给出了处理操作中一些差异的快速摘要:
“霍奇金 - 赫胥黎模型(HH)是现实的但是太复杂了 用于模拟SNN。虽然可以应用ODE9求解器 直接到微分方程组,它会 难以计算神经元之间的时间相互作用 Hodgkin-Huxley模型的大型网络。“
“......复杂性范围也可以表示为 模拟的计算要求。由于它由四个定义 微分方程,霍奇金 - 赫胥黎模型需要大约1200 每1ms模拟浮点计算(FLOPS)。简化为 两个微分方程,Morris-LeCar或FitzHugh-Nagumo模型 仍然有一到几百FLOPS的计算成本。只要 LIF模型需要5个FLOPS,大约10个FLOPS用于变体 例如LIF-with-adaptation和二次或指数 积分和火神经元,以及Izhikevich的13个FLOPS 模式“。
正如所料,计算能力与这些计算成本之间存在权衡; LIF可能需要很少的FLOPS,但在文章的后面他们详细说明了它不能达到其他尖峰的准确性。计算要求也将受到尖峰网编码方式的显着影响(我打算自己做,但还没有机会进行实验)。在第38-39页,Paugam-Moisy和Bohte强烈建议使用可以最大限度地利用并行性的事件驱动架构。我还建议查看他们广泛的参考书目,我相信这可以带来许多其他实用的性能提示。我希望有所帮助。