如果我在RBM中使用softmax，我是否需要在隐藏单元和可见单元中使用它？

Question

据我所知，当在RBM可见单位中使用K值的softmax时，隐藏单位保持二进制。

如果是这样 - 我不确定如何计算二进制单位对可见的贡献。我是否应该将隐藏单元中的二进制0状态与softmax的K个状态中的特定状态相关联，将1状态与其他K-1状态相关联？或者隐藏单元中的0可能与可见单元的所有K个可能状态中的0相关（但是它不会与至少有一个K状态必须打开的事实相矛盾吗？）。

Answer 1

我想我已经弄清楚了我的误解：softmax单位表现为二元子单元组，每个子单元对隐藏单元都有自己的权重。这意味着隐藏层和可见层之间的权重矩阵是3维，而不是2，现在很明显如何计算贡献。