具有多个掩模的U-Net图像分割

Question

我基本上有图像分割问题，其中包含图像数据集和为每个图像创建的多个蒙版，其中每个蒙版对应于图像中的单个对象。所有对象的类型相同，但对象的数量可能会有所不同。我正在尝试使用这些数据训练U-Net。

我可以简单地将所有单个蒙版组合成一个新的蒙版并将其作为输出提供给网络，但我觉得与“单独识别对象”相关的有用信息可能会在组合蒙版的过程中以某种方式丢失

我是否应该使用其他信息？例如，使网络输出可变数量的掩码而不是一个掩码（如果可能的话）。它可能会改善网络的性能吗？

Answer 1

我正在处理与你相同的问题所以我没有得到所有的答案，但是如果你想分开你的面具，你可以对它们进行热门编码

from keras.utils import to_categorical
masks_one_hot = to_categorical(masks, num_classes=numMasks)

这会将包含多个对象的图像分成5个类，因此我的输出向量是：

(numChannels, IMG_WIDTH, IMG_HEIGHT, numMasks)

根据您使用的目标函数，它可能会改善性能 - 对于这种情况，我认为分类交叉熵是合适的。