辍学,正则化和批量归一化

时间:2019-11-03 22:27:27

标签: keras lstm

我对Keras库中的LSTM层有几个疑问

在LSTM层中,我们有两种辍学:辍学和递归辍学。根据我的理解,第一个将从输入中随机删除某些特征(将它们设置为零),第二个将在隐藏单元上进行(h_t的特征)。由于我们在LSTM网络中具有不同的时间步长,因此丢弃是单独应用于每个时间步长还是仅应用于一次,并且对于每个步长是否相同?

我的第二个问题是关于keras的LSTM层中的正则化器。我知道例如内核正则化器将对与输入相对应的权重进行正则化。但是我们对输入的权重不同。 例如,输入门,更新门和输出门对输入使用不同的权重(对于h_(t-1)也使用不同的权重)。那么,它们会在同一时间被正规化吗?如果我只想对其中之一进行规范化怎么办?例如,如果我只想规范输入门公式中使用的权重。

最后一个问题是关于keras中的激活功能。在LSTM层中,我具有激活和循环激活。默认情况下,激活为tanh,我知道在LSTM体系结构中,tanh使用两次(用于h_t和存储单元的候选),而Sigmoid使用3次(用于门)。那么这是否意味着如果我将tanh(在keras的LSTM层中)更改为另一个函数Relu,那么它将同时更改h_t和候选存储单元?

如果可以回答任何一个问题,那将是完美的。非常感谢您的宝贵时间。

0 个答案:

没有答案