使用Keras将空间输入与标签作为CNN的输入进行组合

Question

我正在尝试实现类似于this Google Deepmind paper的网络设置。他们的网络设置如下：

M _θ是一个卷积网络，所以我想知道它们如何将输入帧与视点连接在一起？据我所知，CNN考虑了空间信息，对吗？那么，将视点串联起来作为CNN的输入甚至有意义吗？

谢谢！