我的计算机视觉设置有两个摄像头。其中一台相机是飞行时间相机。它为我提供了每个像素的场景深度。另一台相机是标准相机，给我一个场景的彩色图像。
我们希望使用深度信息从彩色图像中删除一些区域。我们计划在彩色图像中对象，人和手跟踪，并希望借助飞行时间相机去除远处的背景像素。目前还不确定摄像机是否可以在并行设置中对齐。
我们可以使用OpenCv或Matlab进行计算。
我读了很多关于矫正，极线几何学等的内容，但我仍然有问题要看到我必须采取的步骤来计算每个像素的对应关系。
您将使用哪种方法，可以使用哪些功能。您可以在哪些步骤中分解问题？是否有可用的教程或示例代码？
更新我们计划使用放置在场景中的已知标记进行自动校准
答案 0 :(得分：3)
如果您需要强大的通信，则应考虑SIFT。 MATLAB中有几个实现 - 我使用Vedaldi-Fulkerson VL Feat library。
如果您真的需要快速性能（我认为您不需要），您应该考虑使用OpenCV的SURF探测器。
如果您有任何其他问题，请询问。我的This other answer可能有用。
PS：通过对应关系，我假设您要在两个图像上找到相同3D点投影的坐标 - 即像素的坐标(i,j) {图像A中的{1}}和图像B中的u_A，它是3D中同一点的投影。