Question

我使用TF-Slim附带的script来验证我训练过的模型。它工作正常，但我想获得错误分类文件的列表。

该脚本使用https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/slim/python/slim/evaluation.py，但即使在那里，我找不到任何打印错误分类文件的选项。

我怎样才能做到这一点？

Answer 1

在高层次上，你需要做三件事：

1）从数据加载器中获取文件名。如果您正在使用来自tfrecords的tf-slim数据集，则很可能文件名未存储在tfrecord中，因此您可能在运气不佳。但是，如果您使用tf.WholeFileReader直接从文件系统中使用图像文件，那么您可以获得构成批处理的文件名的张量：

def load_data():
    train_image_names = ... # list of filenames
    filename_queue = tf.train.string_input_producer(train_image_names)
    reader = tf.WholeFileReader()
    image_filename, image_file = reader.read(filename_queue)
    image = tf.image.decode_jpeg(image_file, channels=3)

    .... # load your labels from somewhere

    return image_filename, image, label


 # in your eval code
 image_fn, image, label = load_data()

 filenames, images, labels = tf.train.batch(
                                [image_fn, image, label],
                                batch_size=32,
                                num_threads=2,
                                capacity=100,
                                allow_smaller_final_batch=True)

2）做完推理后，用你的结果掩盖你的文件名张量：

logits = my_network(images)
preds = tf.argmax(logits, 1)
mislabeled = tf.not_equal(preds, labels)
mislabeled_filenames = tf.boolean_mask(filenames, mislabeled)

3）将所有这些放入你的eval_op：

eval_op = tf.Print(eval_op, [mislabeled_filenames])

slim.evaluation.evaluate_once(
                        .... # other options 
                        eval_op=eval_op,
                        .... # other options)

不幸的是，我没有设置测试这个。让我知道它是否有效！

Answer 2

shadow chris指出了我正确的方向，所以我分享了我的解决方案，使其适用于TF记录数据集。

为了更好地发挥作用，我将我的代码与TF-Slim的花例子联系起来。

1）修改您的dataset script以在TF记录中存储文件名功能。

  keys_to_features = {
      'image/encoded': tf.FixedLenFeature((), tf.string, default_value=''),
      'image/format': tf.FixedLenFeature((), tf.string, default_value='png'),
      'image/class/label': tf.FixedLenFeature(
          [], tf.int64, default_value=tf.zeros([], dtype=tf.int64)),
      'image/filename': tf.FixedLenFeature((), tf.string, default_value=''),
  }

  items_to_handlers = {
      'image': slim.tfexample_decoder.Image(),
      'label': slim.tfexample_decoder.Tensor('image/class/label'),
      'filename': slim.tfexample_decoder.Tensor('image/filename'),
  }

2）将文件名参数添加到data util的image_to_tfexample功能

它应该看起来像：

def image_to_tfexample(image_data, image_format, height, width, class_id, filename):
 return tf.train.Example(features=tf.train.Features(feature={
      'image/encoded': bytes_feature(image_data),
      'image/format': bytes_feature(image_format),
      'image/class/label': int64_feature(class_id),
      'image/height': int64_feature(height),
      'image/width': int64_feature(width),
      'image/filename': bytes_feature(filename)
  }))

3）修改download and convert script以保存文件名

使用文件名输入TF记录。

    example = dataset_utils.image_to_tfexample(
        image_data, 'jpg', height, width, class_id, filenames[i])

4）在您的评估地图中，将错误分类的imgs转换为文件名

我引用eval_image_classifier.py。

使用tf.train.batch检索文件名：

images, labels, filenames = tf.train.batch(
    [image, label, filename],
    batch_size=FLAGS.batch_size,
    num_threads=FLAGS.num_preprocessing_threads,
    capacity=5 * FLAGS.batch_size)

获取错误分类的imgs并将它们映射到文件名：

predictions = tf.argmax(logits, 1)
labels = tf.squeeze(labels)
mislabeled = tf.not_equal(predictions, labels)
mislabeled_filenames = tf.boolean_mask(filenames, mislabeled)

打印：

eval_op = tf.Print(eval_op, [mislabeled_filenames])

slim.evaluation.evaluate_once(
                        .... # other options 
                        eval_op=eval_op,
                        .... # other options)

如何在TF-Slim的eval_image_classifier.py中获取错误分类的文件？

2 个答案: