使用单色 RGB 相机计算真实世界的 2d 坐标

Question

我有一个安装在自主机器人上的单声道网络摄像头。目标是创建一个点击驱动机器人系统。单色相机将产生一个输出图像（类似于附加的图像）。目前有一种语义分割模型可以准确地分割出楼层。当用户选择一个点时，机器人应该转向该点的方向并朝着它行驶。我正在考虑将单色图像转换为具有真实世界坐标的 2D 地图。相机位置将固定，但机器人将移动。我怎么能这样做？

感谢任何指导。