Question

我正在尝试使用Thingsport Mask R-CNN实现来识别图像中的项目。我将coco数据集用作起点，并对其进行了训练以识别其他类型的对象。很好。它能够识别场景中此类对象的存在，并取得了一些成功。我最近完成了第二批培训，现在当我尝试检查同一场景中是否存在相同项目时，它抛出了错误。

调用此代码时：

model = modellib.MaskRCNN(mode="inference", config=config, model_dir=LOGS_AND_MODEL_DIR)
weights = args["weights"] if args["weights"] \
            else model.find_last()
model.load_weights(weights, by_name=True)

我的程序现在出现以下错误：

Traceback (most recent call last):
  File "mask_training.py", line 185, in <module>
    model.load_weights(weights, by_name=True)
  File "/usr/local/lib/python3.6/site-packages/mask_rcnn-2.1-py3.6.egg/mrcnn/model.py", line 2132, in load_weights
  File "/usr/local/lib/python3.6/site-packages/keras/engine/saving.py", line 1018, in load_weights_from_hdf5_group_by_name
    str(weight_values[i].shape) + '.')
ValueError: Layer #389 (named "mrcnn_bbox_fc"), weight <tf.Variable 'mrcnn_bbox_fc/kernel:0' shape=(1024, 8) dtype=float32_ref> has shape (1024, 8), but the saved weight has shape (1024, 324).

什么原因导致此错误？它直到现在才出现的事实使我怀疑我是否以某种方式弄乱了第二个训练过程，但是我使用了与第一个训练过程相同的过程，只是图像不同，所以似乎不可能。在这段时间内，我也没有对代码进行任何重大更改。

我可以想到的关于第二个训练课程的图像的唯一问题可能是，不是所有图像都具有我正在训练它识别的对象的实例，而我只是在训练它可以识别一种新型的对象。我在第二次训练中也使用了较少的时期（总共15个而不是60个）。

如果相关的话，用于训练和保存图层权重的大部分代码如下：

idxs = list(range(0, len(IMAGE_PATHS)))
random.seed(42)
random.shuffle(idxs)
i = int(len(idxs) * TRAINING_SPLIT) 
trainIdxs = idxs[:i]
valIdxs = idxs[i:]
trainDataset = ImageBoundaryDataset(IMAGE_PATHS, CLASS_NAMES)
        trainDataset.load_images(trainIdxs)
        trainDataset.prepare()
        valDataset = ImageBoundaryDataset(IMAGE_PATHS, CLASS_NAMES)
        valDataset.load_images(valIdxs)
        valDataset.prepare()
        config = ImageBoundaryConfig()
        config.display()

    #image augmentation, flip or rotate image
    aug = iaa.SomeOf((0, 2), [
        iaa.Fliplr(0.5),
        iaa.Flipud(0.5),
        iaa.Affine(rotate=(-10, 10))
    ])

model = modellib.MaskRCNN(mode="training", config=config, model_dir=LOGS_AND_MODEL_DIR)
        model.load_weights(COCO_PATH, by_name=True,
                            exclude=["mrcnn_class_logits", "mrcnn_bbox_fc",
                                    "mrcnn_bbox", "mrcnn_mask"])

        print("loaded weights, about to train layer heads")
        #train layer heads
        model.train(trainDataset, valDataset, learning_rate=config.LEARNING_RATE, epochs=5,
            layers="heads", 
            augmentation=aug)
        print("trained layer heads, about to train model")

        #train all layers
        model.train(trainDataset, valDataset, epochs=10, #usually 40 for serious training
            layers="all", learning_rate=config.LEARNING_RATE / 10, augmentation=aug)

Answer 1

您应该排除一些图层，例如mrcnn_bbox_fc、mrcnn_class_logits（在load_weights方法中填写图层的名称），然后开始微调。

您可以排除这些图层，而不是：

model.load_weights(CUSTOM_MODEL_PATH, by_name=True)

使用：

model.load_weights(
    COCO_MODEL_PATH, by_name=True,
    exclude=["mrcnn_class_logits", "mrcnn_bbox_fc", "mrcnn_bbox", "mrcnn_mask", "rpn_model"])

层权重的keras形状与保存的权重形状不匹配

1 个答案: