如何扩展神经网络层？

Question

我正在尝试编写本文所述的可扩展神经网络：具有动态可扩展网络的终身学习（Jeongtae Lee，Jaehong Yoon，Eunho Yang，Sung Ju Hwang，2017年8月）。

现在考虑我有这样一个LSTM层：

tf.contrib.rnn.LSTMCell(128, state_is_tuple=True)

我想暂时离开大门并且只想将此LSTM层的神经元从128扩展到256，同时保留先前的权重并使新权重0.000001，这使得它对于后续层无关紧要。我怎么能这样做？

此外，是否可以通过在开头为新功能分配零权重来更改输入大小并保留权重？例如，如果我有这样的输入：

inputs = tf.placeholder(tf.float32, [None, 30, 2])

我希望将其更改为：

inputs = tf.placeholder(tf.float32, [None, 30, 5])

然后，我应该怎样对我的图层加载以前训练过的权重和填充零以适应输入形状？

对于任何其他类型的图层的答案也将非常受欢迎。从字面上看，任何帮助都将受到赞赏。

Answer 1

1. 新权重应初始化为随机值