如何基于TensorFlow中的RNN结果修改输入？

Question

我正在尝试使用TensorFlow训练网络以执行对象跟踪任务。我的输入可能是一段长视频，因此对象可以在帧中的许多不同位置之间移动。视频可以具有任何帧大小（但是特定视频中的所有帧都具有相同的大小）。我有一些卷积层，最后有一个LSTM。

LSTM的输入必须为固定大小，因此我必须以某种方式进行裁剪和调整大小。如果我基于第一个边界框使用初始裁剪，则几乎可以肯定该对象会完全保留它。

如何在LSTM展开过程中动态裁剪帧？使用上一步的结果。

我尝试使用tf.nn.raw_rnn将裁切过程插入到展开循环中（如果您看下面的草图，这意味着“ crop”块位于“ CNN”块之后），但是我一直在走出去内存错误。

我希望我的问题很清楚，希望对领域中的类似作品提出任何建议，答案和指示（希望能提供代码）。

以下是理想情况的草图：