立体投影应该内部一致吗？

Question

我正在研究一个问题，我有一个校准的立体声对，我正在识别立体声匹配。然后我使用perspectiveTransform投射这些匹配来给我（x，y，z）坐标。

稍后，我正在使用projectPoints拍摄这些坐标并将它们重新投影到我原始的未经校正的图像中，并使用左相机的M和D参数。我很惊讶地发现，尽管所有这些都发生在相同的校准中，但是这些点不会投射到图像的正确部分（它们具有大约5个像素的偏移，取决于它们在图像中的位置）。这种偏移似乎随着不同的校准而改变。

我的问题是：我应该期待这个，还是我可能做错了什么？看起来校准应该是内部一致的。

这里只是重新映射的一个点的截图（用两行绘制）：

（忽略小盒子，那些是别的东西）

Answer 1

我做了一些有点不对劲的事情。当从3D重新投影到2D时，我错过了stereoRectify返回R1输出整流旋转矩阵。在调用projectPoints时，我需要将该矩阵的逆作为第二个参数（rvec）传递。