RBM:推导复制的Softmax模型(RSM)

时间:2017-01-06 06:19:10

标签: python neural-network deep-learning theano softmax

根据论文,我试图为复制Softmax模型(RSM)或等效的受限玻尔兹曼机器(RBM)推导可见变量enter image description here的条件分布。 #34;复制的Softmax:一个未定向的主题模型"由Salakhutdinov和Hinton。

论文可在以下网址找到:http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=B04C8D67D381B8106FF6FA4203A86264?doi=10.1.1.164.71&rep=rep1&type=pdf

然而,尽管付出了所有努力,但我还是无法了解有条件的结果如何成为softmax分配:
enter image description here

另外,如果enter image description here是3D矩阵而enter image description here是2D矩阵,或者它分别是2D矩阵和向量,我会感到困惑。我相信这是后者。希望有人可以证明这些推导。

我希望实现RSM在python的theano中进行主题建模。我知道有代码,但我更喜欢自己理解推导,以便我可以扩展或优化代码,而不会有破坏模型的风险。

P.S。道歉,这是https://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsm的重新发布,但我这样做并不像许多mathstackexchange用户那样。

1 个答案:

答案 0 :(得分:0)

过了一段时间后,我发现了我误解事物的地方,并设法推导出方程式。请参考math.stackexchange:
https://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsm/2087272#2087272