如何在Tensorflow中学习差分图像变换

Question

我想训练一个网络来学习图像转换，例如旋转。 意味着，以简单的形式，应将位置i，j处的像素移动到新的位置i'，j'。 我现在想训练一个网络，该网络（再次以简化形式）学习2x2变换矩阵M，然后将每个索引i，j与该矩阵相乘，以确定每个像素的新位置。 有什么想法如何使用张量流做到这一点，如何最好地表示和解决这一任务？ 它也应该是可区分的。现在，我的网络只是输出矩阵，然后遍历所有像素并应用矩阵乘法确定新位置，然后按该顺序重建图像。 但是后来TF找不到任何渐变。