我目前正在尝试实施以下论文:https://research.nvidia.com/sites/default/files/publications/dnn_denoise_author.pdf
在使我目前只能处理单个图像的网络适应处理图像序列方面,我遇到了麻烦。 我的数据具有以下形状:(7,512,512,1),其中7是我序列中的帧数,512是图像的宽度和高度,1是通道数。
我的问题是如何使序列通过卷积层? (因为我有7个帧,所以我对其他此类问题看到的conv3d建议似乎很奇怪)。 然后,我希望将卷积层的结果传递给ConvLSTM块,但是,考虑到在卷积和maxpooling之后获得的特征图,这甚至可能吗? (使用ConvLSTM块的其他答案仅涉及直接将它们应用于序列)。运算的结果将再次馈送到卷积和maxpooling等。
我还检查了涉及CNN和RNN的其他问题,我当时正在考虑使用TimeDistributed(...(...))类型的函数,但是我不确定是否朝着正确的方向前进。任何建议都受到欢迎。
谢谢您的时间!
答案 0 :(得分:0)
我正面临类似的情况,我有n个帧序列,我想预测给定序列后的下一帧,解决方案是通过网络转发图像n并从帧n + 1中丢失并重复(n + 1,n + 2等)。希望我理解这一权利。