Question

我正在使用tf Dataset API读取图像及其标签。我喜欢对图像进行多次图像增强，并增加训练数据的大小。我现在所做的如下。

def flip(self, img, lbl):
  image = tf.image.flip_left_right(img)
  return image, lbl

def transpose(self, img, lbl):
  image = tf.image.transpose_image(img)
  return image, lbl

# just read and resize the image.
process_fn = lambda img, lbl: self.read_convert_image(img, lbl, self.args)
flip_fn = lambda img, lbl: self.flip(img,lbl)
transpose_fn = lambda img, lbl: self.transpose(img,lbl)

train_set = self.train_set.repeat()
train_set = train_set.shuffle(args.batch_size)
train_set = train_set.map(process_fn)

fliped_data = train_set.map(flip_fn)
transpose_data = train_set.map(transpose_fn)

train_set = train_set.concatenate(fliped_data)
train_set = train_set.concatenate(transpose_data)

train_set = train_set.batch(args.batch_size)
iterator = train_set.make_one_shot_iterator()

images, labels = iterator.get_next()

是否有更好的方法来进行多次扩增。上面方法的问题是，如果我添加更多的增强功能，则需要许多映射和连接。

谢谢

Answer 1

如果您想自己进行扩充，而无需依赖Keras的ImageDataGenerator，则可以创建类似img_aug的函数，然后在模型或Dataset API管道中使用它。下面的代码只是一个伪代码，但它说明了这个想法。定义所有转换，然后有一个通用阈值，在该阈值之上应用转换，并尝试将其最多应用X次（在下面的代码中为4）

def img_aug(image):
  image = distorted_image

  def h_flip():
    return tf.image.flip_left_right(distorted_image)                
  def v_flip():
    return tf.image.flip_up_down(distorted_image)

  threshold = tf.constant(0.9, dtype=tf.float32)      

  def body(i, distorted_image):
    p_order = tf.random_uniform(shape=[2], minval=0., maxval=1., dtype=tf.float32)
    distorted_image = tf.case({                                      
                               tf.greater(p_order[0], threshold): h_flip,  
                               tf.greater(p_order[1], threshold): v_flip, 
                              }
                              ,default=identity, exclusive=False)
    return (i+1, distorted_image)

  def cond(i, *args):
    return i < 4 # max number of transformations

  parallel_iterations = 1
  tf.while_loop(cond, body, [0,distorted_image], 
                parallel_iterations=parallel_iterations)
  return distorted_image

Answer 2

图像增强的一种简单替代方法是使用Tensorflow implemented Keras 其中包含易于使用的api

看起来像这样

strUnescaped = QString::fromUtf8(strEncoded.toLatin1().data());

您已经准备好根据需要使用增强图像。

这是一个可行的github代码示例Conv_net_with_augmentation

用于图像增强的TF数据集API

2 个答案: