Question

我有一个使用tensorflow对象检测api和更快的rcnn模型制成的对象检测模型。此模型能够检测到清晰可见的对象，但无法检测到尺寸较小/较小或距离较大的对象。是否需要在更快的rcnn配置文件中进行任何更改？如果是，那是什么？如果不是，那么该模型如何检测微小物体？下面是更快的rcnn配置文件供参考

model {
  faster_rcnn {
    num_classes: 4
    image_resizer {
      keep_aspect_ratio_resizer {
        min_dimension: 600
        max_dimension: 1024
      }
    }
    feature_extractor {
      type: 'faster_rcnn_inception_v2'
      first_stage_features_stride: 16
    }
    first_stage_anchor_generator {
      grid_anchor_generator {
        scales: [0.25, 0.5, 1.0, 2.0]
        aspect_ratios: [0.5, 1.0, 2.0]
        height_stride: 16
        width_stride: 16
      }
    }
    first_stage_box_predictor_conv_hyperparams {
      op: CONV
      regularizer {
        l2_regularizer {
          weight: 0.0
        }
      }
      initializer {
        truncated_normal_initializer {
          stddev: 0.01
        }
      }
    }
    first_stage_nms_score_threshold: 0.0
    first_stage_nms_iou_threshold: 0.7
    first_stage_max_proposals: 300
    first_stage_localization_loss_weight: 2.0
    first_stage_objectness_loss_weight: 1.0
    initial_crop_size: 14
    maxpool_kernel_size: 2
    maxpool_stride: 2
    second_stage_box_predictor {
      mask_rcnn_box_predictor {
        use_dropout: false
        dropout_keep_probability: 1.0
        fc_hyperparams {
          op: FC
          regularizer {
            l2_regularizer {
              weight: 0.0
            }
          }
          initializer {
            variance_scaling_initializer {
              factor: 1.0
              uniform: true
              mode: FAN_AVG
            }
          }
        }
      }
    }
    second_stage_post_processing {
      batch_non_max_suppression {
        score_threshold: 0.0
        iou_threshold: 0.6
        max_detections_per_class: 100
        max_total_detections: 300
      }
      score_converter: SOFTMAX
    }
    second_stage_localization_loss_weight: 2.0
    second_stage_classification_loss_weight: 1.0
  }
}

train_config: {
  batch_size: 1
  optimizer {
    momentum_optimizer: {
      learning_rate: {
        manual_step_learning_rate {
          initial_learning_rate: 0.0002
          schedule {
            step: 3000
            learning_rate: .00002
          }
          schedule {
            step: 15000
            learning_rate: .000002
          }
        }
      }
      momentum_optimizer_value: 0.9
    }
    use_moving_average: false
  }
  gradient_clipping_by_norm: 10.0
  fine_tune_checkpoint: "C:/multi_cat_3/models/research/object_detection/faster_rcnn_inception_v2_coco_2018_01_28/model.ckpt"
  from_detection_checkpoint: true
  load_all_detection_checkpoint_vars: true

  num_steps: 20000
  data_augmentation_options {
    random_horizontal_flip {
    }
  }
}


train_input_reader: {
  tf_record_input_reader {
    input_path: "C:/multi_cat_3/models/research/object_detection/train.record"
  }
  label_map_path: "C:/multi_cat_3/models/research/object_detection/training/labelmap.pbtxt"
}

eval_config: {
  metrics_set: "coco_detection_metrics"
  num_examples: 1311
}

eval_input_reader: {
  tf_record_input_reader {
    input_path: "C:/multi_cat_3/models/research/object_detection/test.record"
  }
  label_map_path: "C:/multi_cat_3/models/research/object_detection/training/labelmap.pbtxt"
  shuffle: false
  num_readers: 1
}

Answer 1

我想您需要使用要测试的相似图像训练模型。就您而言，拍摄图像将使用该数据集进行测试并训练模型。拍摄所需高度或距离的图像，并尽可能准确地标记图像。

我认为这会做到的。

Answer 2

COCO指标将对象大小定义为：

small objects: area < 32*2
medium objects: 32*2 < area < 96*2
large objects: area > 96*2

因此，无论您要检测的对象是什么，都可以将主图像平铺/剪切为多个部分，直到相对于整个图像分辨率而言，您的对象显得更大。

选择一种模型，该模型不会将火车图像的大小调整为小于所需大小（以使对象相对于整个图像较大）

在配置下方。例如如果您的原始图像是2000x2000，对象是30x30，则如果您选择以下配置，则对象也将被调整为小于30x30，因为在将训练图像传递给模型进行训练之前，它们将被调整为600x1024。

但是，如果可以将图片切成4x4的图块（500x500），则在低于规格的情况下会将其尺寸调整为600x600，并且对象将大于30x30。

image_resizer {
      keep_aspect_ratio_resizer {
        min_dimension: 600
        max_dimension: 1024

PS：在推理时，相同的剪切/平铺图像需要通过模型传递，并且可能会增加推理时间。

另一种选择是选择合适的配置，如image_resizer函数中给出的原始图像分辨率，但需要更高的规格（CPU / GPU / TPU）来进行训练。

HTH！

在TensorFlow API对象检测模型中检测微小对象

2 个答案: