Question

我正在学习深度学习。训练了图像分类算法。然而，问题在于训练我使用过的图像：

copy *.csv combined.csv

在实际应用中，我使用：

test_image = image.load_img('some.png', target_size = (64, 64))
test_image = image.img_to_array(test_image)

但我发现那些给出了不同的ndarray（不同的数据）：

load_image的最后一项：

test_image = cv2.imread('trick.png')
test_image = cv2.resize(test_image, (64, 64))

来自cv2.imread的最后一项：

  [ 64.  71.  66.]
  [ 64.  71.  66.]
  [ 62.  69.  67.]]]

，因此系统无法运行。有没有办法将结果相互匹配？

Answer 1

OpenCV以BGR格式读取图像，而在keras中，它以RGB表示。要使OpenCV版本与我们期望的顺序（RGB）相对应，只需反转通道：

test_image = cv2.imread('trick.png')
test_image = cv2.resize(test_image, (64, 64))
test_image = test_image[...,::-1] # Added

最后一行将频道反转为RGB顺序。然后，您可以将其提供给您的keras模型。

我想补充的另一点是cv2.imread通常以uint8精度读取图像。检查keras加载图像的输出，您可以看到数据是浮点精度，因此您可能还希望转换为浮点表示，例如float32：

import numpy as np
# ...
# ...
test_image = test_image[...,::-1].astype(np.float32)

最后一点，根据您训练模型的方式，通常习惯将图像像素值标准化为[0,1]范围。如果您使用keras模型执行此操作，请确保在通过OpenCV读入的图像中将值除以255：

import numpy as np
# ...
# ...
test_image = (test_image[...,::-1].astype(np.float32)) / 255.0

Answer 2

除了使用BGR格式的CV2和使用RGB格式的Keras（使用PIL作为后端）之外，使用相同参数的CV2和PIL的调整大小方法也存在显着差异。

可以在互联网上找到多个参考文献，但一般的想法是，在两个调整大小算法中使用的像素坐标系存在细微的差异，并且还有不同的投射浮动方法作为插值算法的中间步骤的潜在问题。最终结果是视觉上相似的图像，但在版本之间略有移位/扰动。

对抗性攻击的一个完美例子，即使输入差异很小，也会导致准确度的巨大差异。

Answer 3

最近，我遇到了同样的问题。我尝试转换颜色通道并使用OpenCV调整图像大小。但是，PIL和OpenCV的图像大小调整方法非常不同。这是此问题的确切解决方案。

此功能可获取图像文件路径，转换为目标尺寸并为Keras模型做准备-

import cv2
import keras
import numpy as np
from keras.preprocessing import image
from PIL import Image

def prepare_image (file):
    im_resized = image.load_img(file, target_size = (224,224))
    img_array = image.img_to_array(im_resized)
    image_array_expanded = np.expand_dims(img_array, axis = 0)
    return keras.applications.mobilenet.preprocess_input(image_array_expanded)

# execute the function
PIL_image = prepare_image ("lena.png")

如果您具有OpenCV映像，则功能将如下所示-

def prepare_image2 (img):
    # convert the color from BGR to RGB then convert to PIL array
    cvt_image =  cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    im_pil = Image.fromarray(cvt_image)

    # resize the array (image) then PIL image
    im_resized = im_pil.resize((224, 224))
    img_array = image.img_to_array(im_resized)
    image_array_expanded = np.expand_dims(img_array, axis = 0)
    return keras.applications.mobilenet.preprocess_input(image_array_expanded)

# execute the function
img = cv2.imread("lena.png")
cv2_image = prepare_image2 (img)

# finally check if it is working  
np.array_equal(PIL_image, cv2_image)
>> True

如何将cv2.imread与keras image.img_load输出相匹配

3 个答案: