图像识别和3d渲染

Question

获取对象的图像（在这种情况下是预定义的对象）并开发一种算法来从具有不同复杂度的背景的照片中剪切该对象有多难。

除此之外，照片的对象（比如房子，汽车，狗 - 但总是一种类型）需要转换为3d渲染。我知道有三个渲染引擎可用（成本，免费，或者有一些条款），但为了实现这个目的，对象（主题）需要以各种方式进行测量 - 例如如果这是一个人，我们需要测量身高，肩膀的曲率，脸的半径，每个手指的长度等。

解决这个问题的可行性是什么？有人知道这个研究领域有什么特别好的联系吗？我已经看到了这个问题的开源解决方案，这让我遇到了一个问题，即在对象周围进行测量时可以轻松测量对象。

由于

---

基本上我想拍摄一张二维图像（典型图像：比包含多个物体的复杂照片更容易等）。

，

但实际上我想把它变成一个3d图像，那么我想做的不是建立一个3d渲染/建模引擎吗？

此外，我提供的链接进入3ds max，设置了一些属性，然后进行渲染。

Answer 1

听起来你想做几件事，都在计算机视觉领域。

1. 对象识别（即找到预定义对象）
2. 3D重建（从图像中制作3d模型）
3. 图像分割（仅从背景中删除您担心的对象）

我按照最简单到最难的顺序对它们进行排序（根据我的有限理解）。总之，我会说这是一个非常复杂的问题。我将查看以下维基百科链接以获取更多信息：

Computer Vision Overview (Wikipedia)

The Eight Point Algorithm (for 3d reconstruction)

Image Segmentation

Answer 2

你是对的，这是一个非常困难的问题，尤其是从2D图像推断3D信息的问题。我们的视觉系统如何从2D图像中推断3D信息只有非常有限的理解，其中一种方法称为"Shape from Shading"，链接的谷歌搜索显示我们知道多少（以及因此有多少）。

罗布

Answer 3

这是一项非常艰巨的任务。最难的部分不是从图像中识别或分割对象，而是从二维图像中推断出对象的三维几何。如果您可以使用立体摄影机（或激光扫描仪，如果您可以使用立体摄像机，那么您将获得更多成功;）。

对于2-D图像的情况，请尝试使用Google搜索“shape-from-shading”。这是用于从2-D图像推断3-D形状的方法。它确实假设在许多情况下可能会失败的照明条件和表面属性（BRDF和几何），但如果您仅将它用于预定义的一类对象（例如人脸），它可以很好地工作。

Answer 4

假设这是可能的，那将是非常困难的，特别是只有一个对象的图像。光栅化器必须猜测物体的深度和距离。

您所描述的内容听起来与Microsoft PhotoSynth非常相似。