Question

我想在图像增强过程中创建一些图像蒙版。 Example image

代码：

import tensorflow as tf
import cv2
import pandas

# You can replace to local image
train_df = pd.DataFrame({'image_id': ['https://i.stack.imgur.com/CMEaA.jpg'],  
                         'label': [1]})


def create_mask(image, label):
    print(type(image)) # <class 'tensorflow.python.framework.ops.Tensor'>
    if isinstance(image, str):
        img = cv2.imread(image)
    else:
        img = image

    ## convert to hsv
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    ## mask of green (36,0,0) ~ (70, 255,255)
    mask1 = cv2.inRange(hsv, (36, 0, 0), (70, 255,255))
    ## mask o yellow (15,0,0) ~ (36, 255, 255)
    mask2 = cv2.inRange(hsv, (15,0,0), (36, 255, 255))
    ## final mask and masked
    mask = cv2.bitwise_or(mask1, mask2)
    result = cv2.bitwise_and(img,img, mask=mask)
    return result, label

train_ds = tf.data.Dataset.from_tensor_slices((
    train_df.image_id.values,train_df.label.values))
train_ds = train_ds.map(create_mask)

结果我得到错误，因为我们在“图像”中有一个张量：

hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

类型错误：参数“src”的预期 Ptr

好的，我们需要一个 numpy 数组。但如果我尝试 img = image.numpy() 我有错误：

AttributeError: 'Tensor' 对象没有属性 'numpy' 不出所料...

我也尝试了 eval() 和 sess.run() 但占位符出错，比如“tensor unhashable，use tensor.ref()”，但是如果我使用 ref()，我会得到类似“cannot use张量”。

好吧，我有一个简单的问题 - 谁能建议我一种在 tf.data.Dataset 中的图像处理过程中将 Tensor 转换为 numpy 数组的有效方法？

Answer 1

尝试只使用 Tensorflow 函数。例如，您可以使用 tf.image.rgb_to_hsv。

rgb = tfio.experimental.color.bgr_to_rgb(img)
hsv = tf.image.rgb_to_hsv(rgb)

您也应该找到一种 Tensorflow 方式来执行以下操作。

如何将张量流图像张量转换为数据集中的 Numpy 数组？

1 个答案: