液态机:它是如何工作的以及如何使用它?

时间:2015-02-04 16:43:26

标签: machine-learning neural-network

我现在正在学习LSM(液态机),我试着了解它们是如何用于学习的。

我对通过网络阅读的内容感到非常困惑。

我会写下我理解的内容 - >这可能是不正确的,如果你能纠正我并解释真相,我会很高兴:

  1. LSM根本没有接受过训练:它们刚刚用许多"时间神经元初始化" (例如Leaky Integrate& Fire神经元),而它们的阈值是随机选择的,因此它们之间的连接(即不是每个神经元必须与每个其他神经元具有共同边缘)。

  2. 如果你想学习"输入 I x 时间单位,发生 Y ,您需要等待"等等"使用LIF"探测器"的 x 时间单位,并查看在此特定时刻发射的神经元。然后,您可以训练分类器(例如FeedForward Network),这个特定的触发神经元子集意味着发生了 Y

  3. 您可以使用许多"时间神经元"在你的"液体"中,所以你可能有很多可能不同的发射神经元子集,所以在等待 x 时间单位后,激发神经元的特定子集几乎变得独一无二,输入您的输入

  4. 我不知道上面写的是真的,还是完全垃圾。

    请告诉我这是否是LIF的正确用法和目标。

3 个答案:

答案 0 :(得分:21)

从你的问题来看,你似乎走在了正确的轨道上。无论如何,液态机和回声状态机是处理计算神经科学和物理学的复杂主题,主题包括混沌,动态动作系统,反馈系统和机器学习。如果你觉得很难绕过它,那就好了。

回答你的问题:

  1. 使用未经训练的神经元储存器的液体状态机的大多数实现。有一些尝试训练水库,但他们没有取得显着成功,值得为此目标所需的计算能力。 (参见递归神经网络训练的储层计算方法http://www.sciencedirect.com/science/article/pii/S1574013709000173)或(平行感知器的p-Delta学习规则http://www.igi.tugraz.at/psfiles/pdelta-journal.pdf

    我的观点是,如果你想在分离性或模式概括方面使用Liquid作为分类器,你可以从神经元相互连接的方式中获得更多(参见Hazan,H。和Manevitz,L。,拓扑约束)液态机的稳健性,专家系统与应用,第39卷,第2期,第1597-1606页,http://dx.doi.org/10.1016/j.eswa.2011.06.052,2012年2月。)或(液态机使用哪种型号?http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5178822 ) 生物学方法(在我看来是最有趣的方法)(神经元能够通过穗定时依赖的可塑性学到什么?www.mitpressjournals.org/doi/abs/10.1162/0899766054796888)
  2. 你说得对,你至少需要等到你完成输入。否则,您将有可能检测到您的输入,而不是您输入应该发生的活动。
  3. 是的,您可以想象您的液体复杂性是SVM的核心,它试图将数据点投射到某些超空间,而液体中的探测器则试图将数据集中的类分开。作为拇指规则,神经元的数量和它们彼此之间的连接方式决定了液体的复杂程度。
  4. 关于LIF(Leaky Integrate& Fire神经元),我认为(我可能错了)两种方法之间的最大区别在于单个单元。在液态机中使用生物像神经元,并且在Echo状态下使用更多的模拟单元。因此,就“非常短期记忆”而言,液体状态接近每个神经元记住其自身的历史,其中在回声状态方法中,每个单独的神经元仅基于当前状态作出反应,存储在单元之间的活动中的存储器

答案 1 :(得分:2)

要了解LSM,您必须了解与Liquid的比较。请注意以下图片:

  • 你随意将石头扔进水里。取决于什么样的 你扔进水里的石头,还有另一波 x时间步后的模式。
  • 关于这种波浪模式,你可以拥有 关于不同宝石特征的结论
  • 从这种模式中你可以看出你投入了哪种石头。

LSM模拟了我们的这种行为:

  • 随机连接到神经元储库的输入层。把它当作扔进水里的石头
  • 随机连接神经元的储库。那些代表你的水,它以特定的方式与你的宝石相互作用。

    • 就LSM而言,我们有特殊的神经元(他们试图模拟真实的神经元)。它们在时间步长上增加了激活,只有在达到一定量的激活时才会激活,此外还会应用代表大脑中钾钾泵的冷却因子。
    • 在x时间步之后,你将会有一种尖峰神经元模式。
  • 解释该模式的输出层,并将其用于分类。

答案 2 :(得分:2)

我只想为其他读者增加2点。首先,“natrium-kalium”泵是英文的钠钾泵。其次是液态机(LSM)和有限状态机(FSM)之间的关系(因为有些读者可能已经了解有限状态机)。

LSM和FSM之间的关系大多只是一个类比。然而,LSM的单位(神经元)可以单独建模为FSM,关于它们是否发射动作电位(改变状态)。这方面的一个难点是每个单元及其邻居的状态变化的时间不固定。因此,当我们考虑所有单元的状态以及它们如何随时间变化时,我们得到一个无限转换表,并将LSM放在转换系统的类中,而不是FSM(可能这有点明显)。然而,我们然后添加线性鉴别器......这是一个简单的确定性读出层,它被训练用于挑选出对应于所需计算的LSM中的模式。读出系统监视单元的子集,并且通常具有良好定义的时间规则。换句话说,它忽略了许多状态转换,并且只对少数敏感。这使它有点像FSM。

您可能会读到LSM中的单位组合可以形成FSM,使得读数识别FSM“实际上包含在其中”。这来自一位作家,他首先将LSM视为计算机模型(原则上,您可能会阐明构成“虚拟FSM”的单元和连接,并构建一个实际类似的FSM)。对于任何将LSM视为生物系统的人来说,这样的说法可能会令人困惑,因为最好将读数视为选择和组合LSM特征的元素,其方式是忽略高维变异性并产生可靠性。低维FSM就像结果一样。