有许多论文（特别是图像字幕）将CNN和LSTM架构联合用于预测和生成任务。然而，他们似乎都独立于LSTM训练CNN。我正在寻找Torch和TensorFlow（与Keras一起），并且找不到它为什么不可能进行端到端培训的原因（至少从建筑设计的角度来看） ），但似乎没有任何关于这种模型的文档。
那么，可以吗？ Torch或TensorFlow（甚至是Theanos或Caffe）是否支持联合训练端到端的CNN-LSTM神经网络？如果是这样，它是否只是简单地将CNN的输出链接到LSTM的输入并运行SGD？或者它的复杂程度是否更高？
答案 0 :(得分：0)
CNN-LSTM模型可以使用tensorflow进行端到端训练
假设您的CNN模型M包含输入X和LSTM模型LSTM。这可以训练端到端
# here CNN is used to extract meaning features from the input data
features = M(X)
# CNN features are used as input to LSTM
y = LSTM(features)
cost = cost_function(ground_truths, y)
IBindingListView提供了一个综合示例，其中显示了imdb数据集中用于句子分类的CNN-LSTM模型的端到端培训。