图像处理：什么是遮挡？

Question

我正在开发一个图像处理项目，我在许多科学论文中遇到了 遮挡 这个词，遮挡在图像处理环境中意味着什么？字典只给出了一般定义。任何人都可以使用图像作为上下文来描述它们吗？

Answer 1

遮挡意味着您希望看到某些内容，但由于您的传感器设置或某些事件的某些属性而无法遮挡。 究竟它是如何表现出来的，或者你如何处理这个问题会因为手头的问题而变得。

一些例子：

如果您正在开发一个跟踪对象（人，汽车......）的系统，那么如果您正在跟踪的对象被另一个对象隐藏（遮挡），则会发生遮挡。就像两个人走过彼此，或者一辆在桥下驾驶的汽车。 在这种情况下的问题是当对象消失并再次出现时你所做的事情。

如果您使用范围相机，则遮挡是您没有任何信息的区域。一些激光测距相机的工作原理是将激光束发射到您正在检查的表面上，然后使用相机设置识别该激光在所得图像中的撞击点。这给出了该点的3D坐标。然而，由于相机和激光器不一定对准，因此在被检查的表面上可能存在相机可以看到的点，但是激光不能被击中（遮挡）。 这里的问题更多的是传感器设置问题。

如果场景的某些部分仅由两个摄像机中的一个看到，则立体声成像也会出现同样的情况。显然，从这些点上无法收集范围数据。

可能有更多例子。

如果您指定了问题，那么也许我们可以定义那种情况下的遮挡，以及它需要的问题

Answer 2

遮挡问题是计算机视觉一般难以解决的主要原因之一。具体来说，这在对象跟踪中更成问题。见下图：

请注意，在0519帧中，女士的脸部不完全可见＆amp; 0835而不是框架0005中的面孔。

此处还有一张照片，其中男人的脸部在所有三个画面中部分隐藏。

请注意下图中如何跟踪红色＆amp;绿色边界框由于遮挡而在中间框架中丢失（即被他们前面的另一个人部分隐藏），但在它们变为最后一帧时被正确跟踪（几乎 ）完全可见。

图片提供：南加州大学斯坦福大学

Answer 3

遮挡是阻挡我们视线的遮挡。在这里显示的图像中，我们可以很容易地看到前排的人。但第二行部分可见，第三行则不太明显。这里，我们说第二行被第一行部分遮挡，第三行被第一行和第二行遮挡。 当有很多物体时，我们可以在教室（学生坐在一排），交通路口（等待信号的车辆），森林（树木和植物）等中看到这种遮挡。

Answer 4

除了刚才所说的，我想添加以下内容：

• 对于对象跟踪，处理遮挡的重要部分是编写有效的成本函数，该函数将能够区分遮挡的对象和遮挡的对象。如果cost函数不能正常运行，则对象实例（id）可能会交换并且将错误地跟踪对象。可以使用多种方法编写成本函数，某些方法使用CNN [1]，而另一些方法则希望具有更多控制权和聚合功能[2]。 CNN模型的缺点是，如果您在训练集中没有对象的情况下跟踪训练集中的对象，并且第一个对象被遮挡，则跟踪器会锁定到错误的对象上并且可能或可能永远无法恢复。这是video展示的内容。汇总功能的缺点是您必须手动设计成本函数，这可能需要时间，有时甚至需要高级数学知识。

• 在密集立体视觉重建的情况下，当使用左侧摄像头看到一个区域而不使用右侧摄像头看到一个区域时发生遮挡（反之亦然）。在视差图中，此遮挡区域显示为黑色（因为该区域中的相应像素在其他图像中没有等效像素）。一些技术使用所谓的背景填充算法，该算法用来自背景的像素填充被遮挡的黑色区域。其他重建方法只是让那些像素在视差图中没有值，因为来自背景填充方法的像素在那些区域可能不正确。在下面，您可以使用密集立体方法获得3D投影点。将点向右旋转一点（在3D空间中）。在呈现的场景中，视差图中被遮挡的值保持不变（黑色），由于这个原因，在3D图像中，我们在人身后看到黑色“阴影”。

  

Answer 5

由于其他答案已经很好地解释了遮挡，我只会补充一点。基本上，我们和计算机之间存在语义上的差距。

计算机实际上将每个图像视为RGB图像中每种颜色的值序列，通常在0-255范围内。对于图像中的每个点，这些值都以（行，列）的形式编制索引。因此，如果对象改变了相机的某些方面隐藏的位置（让人的手不显示），计算机将看到不同的数字（或边缘或任何其他特征），因此这将改变计算机算法检测，识别或跟踪物体。