Pytorch隐藏状态LSTM

Question

为什么我们需要在pytorch中初始化LSTM中的隐藏状态h0。因为h0会被计算并被覆盖？不是吗

int a a = 0

a = 4

即使我们不做= 0，也应该没问题。

Answer 1

重点是你能够提供初始状态，这是一个功能。他们可以将它作为默认值实现，但是通过让你控制张量的分配，你可以节省一些内存（分配一次，在每次调用时归零）。

为什么需要设置h？序列到序列模型需要这个（将输入压缩到一个向量，将此向量用作解码器的隐藏状态），或者您可能希望使初始状态可学习。