用于3D重建的图切割算法的类型

Question

我已经阅读了几篇关于使用图形切割进行 3D重建的论文，我注意到似乎有两种替代方法来解决这个问题。

一种方法是体积并描述体素的3D区域，其中使用图形切割来推断每个体素的二元标记（包含感兴趣的对象或不包含对象）。采用此方法的论文包括Multi-View Stereo via Volumetric Graph Cuts and Occlusion Robust Photo-Consistency和A Surface Reconstruction Using Global Graph Cut Optimization。

第二种方法是2D，并试图用投影在那里的3D点的深度标记参考图像的每个像素。采用这种方法的论文包括Computing Visual Correspondence with Occlusions via Graph Cuts。

我想了解每种方法的优点/缺点，并且在选择使用哪种方法时最重要。到目前为止，我理解第一种方法的一些优点是：

1. 这是一个二元问题，因此可以使用Max-Flow算法完全解决。
2. 提供简单的遮挡建模方法。

第二种方法的一些优点是：

1. 为图表的每个节点设置较小的邻居。
2. 更容易建模平滑度（但它能否提供更好的效果？）。

此外，我会对哪种情况下我最好选择一种表示形式或另一种表现形式以及为什么会感兴趣。

Answer 1

最显着的差异是算法通常使用的类型的场景，以及它们代表对象的3D形状的方式。

体积方法表现最佳...

1. 有大量图片......
2. 取自不同的观点，分布在对象周围，......
3. 或多或少紧凑的＆＃34;对象＆＃34; （例如，人工制品，例如，与车辆摄像头观察到的室外场景）。

体积方法很受欢迎，用于重建＆＃34;对象＆＃34; （特别是文物）。给定足够的视图（即图像），算法给出对象形状的完整体积（即体素）表示。可以使用Marching Cubes或类似方法将其转换为曲面表示。

您确定的第二种算法称为立体算法，图切割只是解决此类问题的众多方法之一。立体声最好......

1. 如果你只有两张图片......
2. 基线相当窄（即相机之间的距离）

存在对两个以上图像（具有窄基线）的推广，但是大多数文献涉及双目（即两个图像）情况。有些算法比其他算法更容易概括为更多视图。

立体声算法仅为您提供深度贴图，即每个像素具有深度值的图像。这不允许你看＆＃34;周围＆＃34;物体。然而，存在3D重建系统，其以图像对上的立体声开始并且组合深度图以便获得完整对象的表示，这本身就是一个非平凡的问题。有趣的是，这通常是使用体积表示作为中间步骤来实现的。

立体声算法可以并且经常用于场景＆＃34;例如，通过车辆中的一对摄像头或三维视频会议室中的人观察到的道路。

一些结束语

• 对于立体和体积重建，图形切割只是解决问题的几种方法之一。例如，立体声也可以被表述为一个连续的优化问题，而不是一个离散的问题，这意味着其解决方案的其他优化方法。
• 我的回答包含一堆概括和简化。它并不意味着是对该主题的明确处理。

我不一定同意立体声中的平滑度更容易。你为什么这么认为？