RBM的能量是否仅取决于架构?

时间:2016-07-02 13:35:57

标签: machine-learning neural-network classification deep-learning unsupervised-learning

我正在浏览网页好几天,寻找我的问题的答案,但我不能很好地理解这个主题,以便能够解释我找到的书。

这是我现在所理解的:

我想我受过监督学习。您有(x,y)对的数据集。你制作一个模型,向它提供x,退役,然后根据你的模型拍摄的距离尽量减少一些成本函数。

RBM通常用于无监督学习,因为你只有(x)值。因此,您无法创建最小化的成本函数。相反,你定义一个能量函数,它取决于神经元的激活和它们之间的权重。当你获得最小的能量时,你训练了模型。

但最后一个想法告诉我能量,因此modell的优化结构仅取决于体系结构,并且与输入数据无关。因此,只有通过设置输入和隐藏神经元的数量,您才能预先定义网络的权重和偏差。

它真的如此吗? RBM的培训是否独立于我们想要应用它的数据集?

1 个答案:

答案 0 :(得分:0)

你忽略了无监督学习的重点。

  

RBM通常用于无监督学习,因为你只有(x)值。因此,您无法创建最小化的成本函数。

这很简单,您可以定义许多有效的成本函数,它们根本不依赖于标签(因为没有标签)。但是考虑一下例如kmeans模型,你在输入空间中定位K点,这里的成本是你的Xs与这些K的闭合点之间的距离之和。

  

相反,你定义一个能量函数,它取决于神经元的激活和它们之间的权重。当你获得最小的能量时,你训练了模型。

基于能量的推理只是众多可能性中的一种。特别是,这对RBM有意义。

  

但最后一个想法告诉我能量,因此modell的优化结构仅取决于体系结构,并且与输入数据无关。

这是错误的,因为激活 是数据的功能。没有处理数据,您没有网络激活。根据这样的推理,有监督的学习也将独立于输入数据"因为你的网络为给定的x产生的是也是激活(输出层的)。

  

因此,只有通过设置输入和隐藏神经元的数量,才能预先定义网络的权重和偏差。

不,这完全没有意义。它最多定义了RBM中的参数数量,而不是实际值。

  

它真的如此吗? RBM的培训是否独立于我们想要应用它的数据集?

由于上述答案 - 没有。 RBM训练修改权重以最小化能量,能量被定义为权重和激活(另一方面,数据依赖元素)的函数。