使用python和opencv从单个图像中的模糊背景中选择清晰的区域

Question

在如下图所示的图像中，我需要将前景（实际上是眼镜臂）与模糊的耀眼背景分开。

为此，我实际上尝试了几种不同的方法。我尝试了一些有关锋利前景提取的最新研究论文的代码；但是它们并没有提供我想要的结果。我还尝试使用一些模糊区域提取方法（例如高斯和傅里叶）来丢弃背景。但是他们发现眼睛的某些部分模糊不清，成为锐利的区域。我还尝试使用Hough变换来检测直线，尽管通常效果比其他方法更好，但有时仍会随机失败并且难以概括。

我具有计算机视觉的背景，但是我并不是图像处理方面的专家，因此我在这里的职位是希望能从专家那里获得一些线索。

Answer 1

由于您的对焦图像在强度上与背景相对相似，以及您的对焦图像包含两种非常不同的强度（白色RayBan和黑色，这两个事实），因此实际上很难解决此问题。眼镜臂）。通常，为了将对象从图像中分割出来，它们实际上确实需要与背景明显不同，因此您可以仅通过强度来进行处理。基本上所有简单的选项都不会显示在窗口中，因为您要提取的信息无法使用任何类型的纯二进制操作从该特定图像中提取，因此您需要执行一些灰度操作。

就您要寻找的内容而言，您可能正在寻找blob工具的组合，该工具本质上将根据连接性将整个图像分割为一组对象。然后，一旦拥有所有斑点，便会转到每个斑点，并找到边缘的强度（通常，强度差越大，对象的聚焦程度就越高）。完成这两项操作后，无论哪个Blob具有足够高的强度，您都可以将其标记为前景对象，然后将其分段以完成操作。

虽然这在理论上是可行的，但是对于该特定图像，由于对象之间的弱边缘及其相似的强度，斑点工具可能无法充分分割不同的对象。您可以通过做一些扩张来增加对象之间边界的连通性/大小，但是不幸的是，这是一种二进制技术，给您的问题增加了一层难度。

TL; DR：对图像进行二值化处理，对其进行几次扩展以改善边缘的连通性，然后进行斑点分析以通过连通性获得图像中对象的列表，然后返回原始图像，使用位置来自斑点分析的信息，以找到不同斑点周围区域边缘的强度，然后最强的边缘将成为焦点最集中的部分，然后您可以对其进行细分。即便如此，由于这个问题确实很困难，它可能仍然无法正常工作。

Answer 2

在进行分割之前，我会将原始图像转换为可以测量每个像素“模糊度”的图像。然后，最模糊的部分应该是要分割的前景。

那么棘手的问题是，如何测量模糊度？您可能想看看“共现矩阵”指标，滑动窗口的“直方图熵”以及其他一些指标（请参见参考文献），然后将它们组合成适用于您的输入图像类型的指标。