Question

我目前正在处理 ImageNet 数据集，您可能知道它非常大。

我已将其从 .tar 文件预处理为 tfrecord 文件。

我目前正在使用：

train, val = tfds.load(*)

所以我有两个 tfd：train 和 val。

然后我使用以下方法调整它们：

def resize_with_crop(image, label):
    i = image
    i = tf.cast(i, tf.float32)
    i = tf.image.resize_with_crop_or_pad(i, 224, 224)
    i = tf.keras.applications.mobilenet_v2.preprocess_input(i)
    return (i, label)

# Preprocess the images
train = train.map(resize_with_crop)
val = val.map(resize_with_crop)

我从 here 关注。

在我尝试拟合我的模型后，d = model.fit(train, validation_data=val,...) 第一层具有形状 (None, 224, 224, 3)，我收到错误：ValueError: Input 0 of layer conv2d is incompatible with the layer: expected ndim=4, found ndim=3

这个问题（我相信）是因为模型一次被赋予一张图像（所以它没有 4d 形状。我无法将数据集保存在内存中以将其重组为 (None, 224, 224, 3）就像我对 cifar-10 数据集所做的那样）。

我的问题是，既然图像的形式为 (224, 224, 3)，我如何将它们与需要 4d 形状但我无法在内存中重塑数据集的张量流模型一起使用？

或者有没有办法调整 tfds 形状，使其作为模型的输入？

我不确定我是否完全理解 tfds，这就是我遇到这个问题的原因。此外，我确信标签会导致问题（因为它们是整数），那么我如何将 tfds 标签重组为模型的热编码？

Answer 1

tfds.load 返回一个 tf.data.Dataset 对象。因此，您可以使用 tensorflow 数据集对返回值进行任何可能的操作。

输入的 4D 数据大多预期为 (batch_size, Hight, Width, Channel)。因此，如果您的图像形状为 (224,224,3)，您需要对它们进行批处理，以添加批处理维度以与模型预期兼容。

对于批处理数据集，只需使用 .batch(batch_size):

train = train.batch(32)
val = val.batch(32)

如何使用张量流数据集 (TDFS) 作为张量流模型的输入？

1 个答案: