Question

我是一个使用张量流从单个图像进行面部重建的神经网络。

我试图弄清楚如何将网络输出（3D网格）渲染到python中的图像中。

我发现的大多数库都是实时3D渲染，我只想渲染和单帧。

我还需要一些快速的东西，因为这可能会成为网络实时预处理的一部分（将网络应用于实时视频。

网格非常简单，它是一个简单的面，有大约30k个顶点和50k个三角形。

Answer 1

我刚刚遇到了类似的问题，并使用pyrender及其屏幕外渲染器解决了。

在PyrenderOSMesaSample.ipynb处查看最小工作示例。建立自己的网格并获取场景的渲染RGB非常简单。

UPD：这是我的MWE

import os
# switch to "osmesa" or "egl" before loading pyrender
os.environ["PYOPENGL_PLATFORM"] = "osmesa"

import numpy as np
import pyrender
import trimesh
import matplotlib.pyplot as plt

# generate mesh
sphere = trimesh.creation.icosphere(subdivisions=4, radius=0.8)
sphere.vertices+=1e-2*np.random.randn(*sphere.vertices.shape)
mesh = pyrender.Mesh.from_trimesh(sphere, smooth=False)

# compose scene
scene = pyrender.Scene(ambient_light=[.1, .1, .3], bg_color=[0, 0, 0])
camera = pyrender.PerspectiveCamera( yfov=np.pi / 3.0)
light = pyrender.DirectionalLight(color=[1,1,1], intensity=2e3)

scene.add(mesh, pose=  np.eye(4))
scene.add(light, pose=  np.eye(4))

c = 2**-0.5
scene.add(camera, pose=[[ 1,  0,  0,  0],
                        [ 0,  c, -c, -2],
                        [ 0,  c,  c,  2],
                        [ 0,  0,  0,  1]])

# render scene
r = pyrender.OffscreenRenderer(512, 512)
color, _ = r.render(scene)

plt.figure(figsize=(8,8)), plt.imshow(color);

Answer 2

根据您的预期结果，您可以使用多种开源和商业选项。我从你的问题中推断出你已经在利用GPU，并且你打算利用它们的性能加速来产生你的单帧结果。有了这些假设，这是我的两个最佳建议：

1）如果你正在构建一个概念验证，我会利用Blender（特别是Lux渲染器）。

首先使用LuxBlend 2.5
获取TensorFlow生成的网格几何体并注入场景文件
调用Lux为每个帧渲染这些动态文件

2）如果您打算开发商业产品，我建议您使用nVidia的iRay渲染器。您可以获得SDK访问权限并利用支持团队的知识来帮助您优化渲染的细节。

我很乐意根据任何反馈（或您的GitHub项目）修改此答案

如果我的假设偏离，这个答案可能会有所帮助：3D Scene Renderer for Python; - ）

Answer 3

nVidia的iRay非常出色，对于任何渲染引擎而言，加50k的三角形都是一项艰巨的任务。

如果您要寻找照片般逼真的质量，您将需要使用简单的光源在以50k三角形绘制的每个渲染中花费几分钟。

照明越复杂，过程就越慢。一个简单的基于纹理的阴影渲染要快得多，并且可以实时完成，结果仅限于UV映射纹理的质量。

您是从单个图像中捕获表面材料还是将预映射的UV表面材料应用于标准的50k三角形模型网格？

使用python将3D网格渲染为图像

3 个答案: