Question

我正在尝试训练一个对象检测模型来检测和分类10个类。我原始的数据集非常稀疏且不平衡，总共包含3k标记的图像，各类之间的分布如下：

第1类：21

第2类：22

第3类：9

第4类：192

5级：2240

6级：319

7级：56

8级：190

9级：44

10级：167

由于这种稀疏性，我对所有图像进行了增强，即添加了噪点，模糊，对比度，亮度和水平翻转。我还用噪点，对比度和亮度进一步增强了翻转后的图像。结果数据集由37k标记图像组成，分布如下：

第1类：4235

第2类：5365

第3类：2385

第4类：10755

5级：17185

6级：4035

7级：3150

8级：3820

9级：555

10级：1500

下图显示了4个不同时段的不同损失。粉色图是来自37k图像的扩充数据集的结果，其他图是来自约2.5k图像的原始数据集先前的运行。从粉红色曲线图中可以看到，总损耗从其初始值开始并没有减少（就像以前运行的蓝色和红色曲线图一样）。 RPN损失正在减少，但箱分类器损失却在增加，这可能是什么原因？

我还提供了每个班级平均精度的图像。在我看来，大多数类的精度在整个过程中一直稳定地增加，而损耗却没有减少，这一事实似乎使模型过于拟合了？通过像我所做的那样扩充每个数据集来将数据集增加10倍，这不是一个好主意吗？我还在下面包含了我正在使用的配置文件。任何有关如何改善我的训练效果的建议都将受到赞赏！

 model {
  faster_rcnn {
    num_classes: 10
    image_resizer {
     fixed_shape_resizer {
       height: 300
       width: 500 
     }
    }
    feature_extractor {
      type: 'faster_rcnn_inception_resnet_v2'
      first_stage_features_stride: 8
    }
    first_stage_anchor_generator {
      grid_anchor_generator {
        scales: [0.25, 0.5, 0.75, 1.0, 1.5,2,3]
        aspect_ratios: [0.5,1,2,3]
        height: 32
        width: 32
        height_stride: 8
        width_stride: 8
      }
    }
    first_stage_atrous_rate: 1
    first_stage_box_predictor_conv_hyperparams {
      op: CONV
      regularizer {
        l2_regularizer {
          weight: 0.0
        }
      }
      initializer {
        truncated_normal_initializer {
          stddev: 0.01
        }
      }
    }
    first_stage_nms_score_threshold: 0.0
    first_stage_nms_iou_threshold: 0.5
    first_stage_max_proposals: 300
    first_stage_localization_loss_weight: 2.0
    first_stage_objectness_loss_weight: 1.0
    initial_crop_size: 17
    maxpool_kernel_size: 1
    maxpool_stride: 1
    second_stage_box_predictor {
      mask_rcnn_box_predictor {
        use_dropout: True
        dropout_keep_probability: 0.6
        fc_hyperparams {
          op: FC
          regularizer {
            l2_regularizer {
              weight: 0.0
            }
          }
          initializer {
            variance_scaling_initializer {
              factor: 1.0
              uniform: true
              mode: FAN_AVG
            }
          }
        }
      }
    }
    second_stage_post_processing {
      batch_non_max_suppression {
        score_threshold: 0.3
        iou_threshold: 0.5
    #    soft_nms_sigma: 0.5
    #   use_class_agnostic_nms: True
    #    max_classes_per_detection: 1
        max_detections_per_class: 100
        max_total_detections: 100
      }
      score_converter: SOFTMAX
    }
    second_stage_localization_loss_weight: 2.0
    second_stage_classification_loss_weight: 1.0
  }
}
train_config: {
  batch_size: 1
  use_multiclass_scores : False  
  optimizer {
    #momentum_optimizer: {
    adam_optimizer: {
      learning_rate: {
        manual_step_learning_rate {
          initial_learning_rate: 0.0001
          schedule {
            step: 150000
            learning_rate: .00001
          }
          schedule {
            step: 250000
            learning_rate: .000001
          }
        }
      }
      #momentum_optimizer_value: 0.9
    }
    use_moving_average: false
  }
  gradient_clipping_by_norm: 10.0
  from_detection_checkpoint: false

  data_augmentation_options {
    random_horizontal_flip {}
  }

  data_augmentation_options {
    random_crop_image {
      min_object_covered : 1.0
      min_aspect_ratio: 1
      max_aspect_ratio: 1
      min_area: 0.5
      max_area: 1
       random_coef: 0.5
     }
  }
}

Answer 1

不幸的是，对于深度学习而言，通常很难区分到底是什么引起您的问题。从您的问题来看，即使进行数据增强，这也是一件很不错的事情，但是每个类的图像数量变化很大。

例如，在扩充数据之后，最终将这些数据添加到其中包含图像的类

5级：17185

9级：555

第5类的图像数量为17,185，而第9类的图像数量只有555。在图像数量上存在巨大的不平衡，通常，每个类的图像数量都尽可能接近。

在训练时，将有一个验证部分，其中所有类的图像池将用于在该实例处测试模型。如果您在一个类别中拥有一堆图像，而在另一个类别中却没有，则该模型在验证较大类别中的图像方面会做得更好，而在验证较小类别中的图像时会遇到困难，因为该模型没有太多示例一起训练，或者它开始在较大的班级进行较重的训练，因为那里有更多的训练示例。

对象检测损失没有减少，AP增加了

1 个答案: