Question

这是在CPU机器上工作的主要代码。它会从文件夹中加载所有图像和遮罩，调整它们的大小，然后另存为2个numpy数组。

from skimage.transform import resize as imresize
from skimage.io import imread


def create_data(dir_input, img_size):

    img_files = sorted(glob(dir_input + '/images/*.jpg'))
    mask_files = sorted(glob(dir_input + '/masks/*.png'))

    X = []
    Y = []

    for img_path, mask_path in zip(img_files, mask_files):

        img = imread(img_path)
        img = imresize(img, (img_size, img_size), mode='reflect', anti_aliasing=True)

        mask = imread(mask_path)
        mask = imresize(mask, (img_size, img_size), mode='reflect', anti_aliasing=True)

        X.append(img)
        Y.append(mask)



    path_x = dir_input + '/images-{}.npy'.format(img_size)
    path_y = dir_input + '/masks-{}.npy'.format(img_size)

    np.save(path_x, np.array(X))
    np.save(path_y, np.array(Y))

这是gcloud存储层次结构

gs://my_bucket
|
|----inputs    
|      |----images/
|      |-----masks/
|   
|----outputs
|
|----trainer

dir_input应该是gs://my_bucket/inputs

这不起作用。从云上的该路径加载图像并将numpy数组保存在输入文件夹中的正确方法是什么？

最好与skimage一起加载，setup.py

Answer 1

大多数Python库（例如numpy）本身都不支持读写对象存储（例如GCS或S3）。有几种选择：

首先将数据复制到本地磁盘（请参见this answer）。
尝试使用GCS python SDK（docs）
使用另一个库，例如TensorFlow的FileIO抽象。 Here's some code与您要执行的操作类似（读/写numpy数组）。

后者在使用TensorFlow时特别有用，但即使在使用其他框架时仍可以使用。

在Cloud ml中加载图像

1 个答案: