如何将3D对象（在2D图像上）映射到2D地图？

Question

我有下面的图像（实际上是视频，但是图像更简单），我想在2D地图上用人物的“真实”位置指定每个人物的位置。像这样，给定下面图像中的人物并进行一定的校准，您可以运行视频，运行对象检测器来定位每个人物，使用他们在下面图像中的位置在2D地图上进行定位（有效地是俯视图） ）

主要原因是我想知道在任何给定帧中哪个人最接近给定包。您不能只使用一个人的边界框，因为两个人从某个低角度看可能很近，但实际上他们距离很远（请考虑正视图，但这并不重要，因为视点约为45度）

2D地图将由用户创建。后者将指定边界和非人为物体，例如书包带和其他东西。

用户可以手动设置一些值作为校准形式。因此，将要求用户在第一个视频帧（或图像）周围画一个人的边界框，然后单击该人的估计位置的2D地图。可以对视频中的随机帧进行此操作。

生成的2D地图（实际上是俯视图）如下所示：

蓝色矩形是皮带，黑点是人。

现在，如何创建算法，以便在校准后自动完成此任务。

我尝试使用从顶视图到前视图以15度角移动的不同角度的不同视图。然后在y轴上绘制给定人员的变化。没有发现任何有意义的东西。

我尝试过的大多数资源似乎都与从3D工作室/环境（例如Blender）的“世界”中获取3D数据有关，并用它来生成2D图像（我发布的第一个图像）。 / p>