RNNlib中参数的含义

Question

我是研究递归神经网络的新手，现在又被RNNLib中的参数搞糊涂了。具体来说，我不了解隐藏的块，隐藏的大小，输入块，子样本大小和mdl的东西。根据我的经验，我只有输入向量，一个lstm隐藏层和softmax输出层。为什么块看起来像矩阵？

Answer 1

RNNLib实现了一种新型的RNN，即所谓的“多维递归神经网络”。以下参考RNNLib页面解释： Alex Graves，SantiagoFernández和JürgenSchmidhuber。Multidimensional recurrent neural networks国际人工神经网络会议，2007年9月，波尔图。此扩展程序用于处理图像，视频等。如文中所述：

“MDRNN的基本思想是替换标准中的单个循环连接 具有与数据中的维度一样多的循环连接的RNN。 在前向传递期间，在数据序列中的每个点处，网络的隐藏层 从后退一步接收外部输入和自己的激活 所有维度“

我认为，这就是你有能力使用多维输入的原因。如果您想将RNNLib用作通常的一维RNN，只需为输入和LSTM块指定一个维度。

MDL代表“最小描述长度”成本函数，用于逼近贝叶斯推理（一种使NN正规化的方法）。如果您想使用它，最好阅读RNNLib网站上提供的原始参考文献。否则，我想，它可以被忽略。