具有先验知识的基于深度学习的图像分割

Question

我想对图像执行语义分割。对于每个图像，我都有一个实例分割掩码，因此可以将语义分割的任务重新构造为简单地为每个实例分配语义标签。

通常，人们从输入图像转到语义分割，再到实例分割，而我处于对实例分割有先验知识的唯一位置。

在执行语义分割时，我想在同一实例的像素之间保持某种实例化的标签一致性。请注意，实例数是可变的，即取决于图片。 我正在寻找关于如何在神经网络内部解决此问题的任何想法（无任何后处理），例如通过特定的损失或架构。同样有帮助的是任何具有相同类型问题的应用程序域。