很抱歉，以前是否有人问过我，但是我找不到正确的答案。
为了更好地理解，让我简要说明问题的背景
上下文
我有两个图像（A和B），上面有非平面物体。我希望能够从A获得像素pA的坐标并将其投影到B。由于我的场景不是平面的，所以不能使用单应性。我要做的是先将像素pA投影到3D世界中，然后将结果投影到图像B中以获得pB。 pA（2D）-> pWorld（3D）-> pB（2D）。 幸运的是，我知道pworld的坐标z。我的问题涉及第一步pA（2D）-> pWorld（3D）。
问题
在给定Z的情况下，如何将2D点pA（u，v）投影到世界（pWorld =（X，Y，Z））中？ 我也有相机的外部矩阵Rt（3x4）和内部矩阵K（3x3）。
我尝试过的事情
我知道：
s*(u v 1)' = K * Rt * (X Y Z)' [1]
s是小数位数。 但是我想得到相反的过程，给定Z。像这样：
(X Y) = SOMETHING * (u v)
我可以重写[1]以获得
s*(u v 1/s 1/s)' = G * (X Y Z 1)'
其中G =（l1 l2 l3 l4）（l表示行）
l1 =（K * Rt）的第一行
l2 =（K * Rt）的第二行
l3 = 0 0 1 / Z 0
l4 = 0 0 0 1
G是可逆的，然后我可以拥有
(X Y Z 1)' = inv(G) * (us vs 1 1)'
但是由于我不知道比例，所以我不能使用它。我觉得我对这种规模的事情有些困惑。我知道通常我们会规范化摆脱它，但在这里，我做不到。
也许这不是进行的好方法。如果有人可以向我解释一个好方法，那么我很高兴听到这个消息。
谢谢。
答案 0 :(得分：0)
我找到了解决方案，但真是丑陋。
让我们考虑3x4矩阵M：
M = K*Rt = (mij) 1<i<3, 1<j<4
为简单起见，我们还考虑系数A和B：
A = (m12-m32*u)/(m22-m32v)
B = (m31*u-m11)/(m31*v-m21)
解释了该符号，让我们继续进行系统操作。 如我所说，系统为：
s*(u v 1)' = M*(X Y Z 1)'
我们有 3个等式和 3个未知数： s，X 和 Y 。 我们可以注意到：
s = m31*X + m32*Y + m33*Z + m34
请注意，如果要投影到摄像机坐标系中而不是在世界坐标系中（类似于没有旋转和平移的情况），则可以使用s = Z，这是一种更简单的系统解决（此处为示例To calculate world coordinates from screen coordinates with OpenCV）
考虑到这一点，我们可以将原始系统简化为具有 2个未知数（ X 和是）：
然后，经过一些计算，我们最终得到：
X = [Z*((m23-M33*v)*A-m13+m33*u) + (m24-m34*v)*A-m14+m34*u ] / [A*(m31*v-m21)-m31*u+m11]
Y = [Z*((m13-m33*u)-B*(m23-m33*v)) + m14-m34*u-B*(m24-m34*v)] / [B*(m22-m32*v)-m12+m32*u]
它是u，v和Z函数中X和Y的表达式。 我在我的项目中对其进行了测试，并且该项目正在运行。
不知道是否有一种更简便的方法（使用Matrix和其他方法）来计算该值，但这就是我现在能想到的全部内容。