Question

我正在创建用于文本识别的管道，并且我想使用Tensorflow Dtatasets通过OpenCV进行一些预处理来加载数据

我正在关注本教程 https://www.tensorflow.org/guide/datasets#applying_arbitrary_python_logic_with_tfpy_func 我有这个预处理功能：

def preprocess(path, imgSize=(1024, 64), dataAugmentation=False):

    img = cv2.imread(path, cv2.IMREAD_GRAYSCALE)

    kernel = np.ones((3, 3), np.uint8)
    th, img = cv2.threshold(img, 127, 255, cv2.THRESH_BINARY_INV + 
    cv2.THRESH_OTSU)
    img = cv2.dilate(img, kernel, iterations=1)

    # create target image and copy sample image into it
    (wt, ht) = imgSize
    (h, w) = img.shape
    fx = w / wt
    fy = h / ht
    f = max(fx, fy)
    newSize = (max(min(wt, int(w / f)), 1),
               max(min(ht, int(h / f)), 1))  # scale according to f (result at 
    least 1 and at most wt or ht)
    img = cv2.resize(img, newSize)

    # add random padding to fit the target size if data augmentation is true
    # otherwise add padding to the right
    if newSize[1] == ht:
        if dataAugmentation:
            padding_width_left = np.random.random_integers(0, wt-newSize[0])
            img = cv2.copyMakeBorder(img, 0, 0, padding_width_left, wt-newSize[0]-padding_width_left, cv2.BORDER_CONSTANT, None, (0, 0))
        else:
            img = cv2.copyMakeBorder(img, 0, 0, 0, wt - newSize[0], cv2.BORDER_CONSTANT, None, (0, 0))
    else:
        img = cv2.copyMakeBorder(img, int(np.floor((ht - newSize[1])/2)), int(np.ceil((ht - newSize[1])/2)), 0, 0, cv2.BORDER_CONSTANT, None, (0, 0))

    # transpose for TF
    img = cv2.transpose(img)

    return img

但是如果我用这个

list_images = os.listdir(images_path)
image_paths = []
for i in range(len(list_images)):
    image_paths.append("iam-database/images/" + list_images[i])

dataset = tf.data.Dataset.from_tensor_slices(image_paths)
dataset = dataset.map(lambda filename: tuple(tf.py_function(preprocess, [filename], [tf.uint8])))
print(dataset)

我的形状未知，并且似乎未解析预处理功能。我该怎么办？

Answer 1

为了在数据集API管道中运行此预处理功能，您需要使用tf.py_function将其包装起来。它是已弃用的py_func的后继者。主要区别在于它可以放在GPU上，并且可以与急切的张量一起使用。您可以在文档中阅读更多内容。

def preprocess(path, imgSize = (1024, 64), dataAugmentation = False):
    path = path.numpy().decode("utf-8") # .numpy() retrieves data from eager tensor
    img = cv2.imread(path)
    ...
    return img

此时img是一个。其余功能由您决定

此解析函数是数据集管道的包装器。它接收文件名作为内部带有字节串的张量。

def parse_func(filename):
    out = tf.py_function(preprocess, [filename], tf.uint8)
    return out


dataset = tf.data.Dataset.from_tensor_slices(path)
dataset = dataset.map(pf).batch(1)
iterator = dataset.make_one_shot_iterator()
sess = tf.Session()
print(sess.run(iterator.get_next()))

Answer 2

您的代码中有很多错误（或由于您提供的代码示例而丢失）。首先，您需要迭代数据以实际调用parse函数。在渴望模式下，您可以执行以下操作：

for x in dataset:
    print(x)

第二，您不能在路径上直接调用opencv imread，因为它在该阶段是tf.Tensor。查看map文档，它将一个数据集作为输入并返回另一个数据集。因此，至少您需要像str(path.numpy())这样的东西将其转换回可以馈送到imread的字符串。更好的建议是使用tensorflow内置函数读取文件，解码图像然后将其转换为numpy。检出tf.io.decode_jpeg

注意：我已经使用tensorflow 2-0-alpha来举例，所以根据您的tf版本，API会稍有变化，但是想法是相同的

如何在TenCor预处理中使用Tensorflow数据集？

2 个答案: