使用LSTM在张量流中进行分布式训练

Question

LSTM是算法还是节点？如果在模型中使用它，如果我使用分布式训练，反向传播会发生冲突吗？

Answer 1

LSTM既不是。它是递归神经网络（见this post）。就张量流而言，您可能会感到困惑，因为有一个单元的概念（例如，BasicLSTMCell），它基本上是用于创建形成一个或多个层的单元的工厂。最后，它全部转换为计算图中的节点。您可以在this notebook中找到一个很好的用法示例。顺便说一句，训练算法是相同的 - backprop 。

现在，关于分布式训练，有两种类型的并行性：数据和模型并行性，并且它们都不会破坏反向性。唯一的例外是可能与异步更新的数据并行，这确实需要某些技巧才能工作，但在张量流中没有一流的支持。我认为使用更简单的方法来分发模型会更好（参见this post）。所以答案是，最有可能的是：不，backprop会正常工作。