适合图像的3D变形模型(面部重建)

时间:2014-07-01 14:26:09

标签: opengl graphics 3d computer-vision 3d-reconstruction

目前我正在努力将可变形模型拟合到给定图像(2d图像到3d模型),但仍然坚持拟合算法。
我读过几篇论文,大部分依赖于我很难实现的优化技术,比如SNO(blanz99,blanz03),MFF等。
有没有人实施过这样的方法之一?你能分享代码吗?

另外两个问题:

  1. 如何计算参数的导数,特别是渲染参数?
  2. 哪种拟合算法好,易于实现?

1 个答案:

答案 0 :(得分:1)

<强>更新 ...

如果你真的只是在一些代码之后 - 也许这些特定的面部拟合/跟踪库可能更像你所追求的(尽管我知道他们更倾向于使用Active Appearance Models ...)

我担心我没有完全准备好你所尝试的代码(自从我做了这些事以来已经有7年了,我的事情已经发生了一些变化。祝你好运!)

<强> ...

除了模型问题 - 听起来你知道自己在做什么,只需要用一种可以与任意数量的优化库一起使用的形式来表达它......

我相信你可能知道这一切 - 但是对于这个特殊的问题,如果没有向作者自己询问代码,或者自己实现它,你就会留下现有的库。那么问题通常是定制你的模型以与它们一起工作(因此我之前的问题)。

e.g。

http://www.gnu.org/software/gsl/manual/html_node/Multimin-Algorithms.html

https://software.sandia.gov/opt++/

反过来被许多高级库使用,例如......

http://docs.scipy.org/doc/scipy/reference/optimize.html

http://stat.ethz.ch/R-manual/R-devel/library/stats/html/optim.html

http://weka.sourceforge.net/doc.dev/weka/core/Optimization.html

我认为我可以预见到你的核心问题,即许多这些“现成的”问题。方法不会提供最好的拟合 - 因为参数的数量非常大而且(正如你所暗示的)难以分解。

在计算机视觉中,任何形式的模型拟合都是如此,关键的进步与从根本上更好的优化(算法)和表示(数据结构/模型)有关。

所以你可以看一下更多的实验库,而不是上面建立的那些:

http://deeplearning.net/software/pylearn2/

http://ab-initio.mit.edu/wiki/index.php/NLopt