将Tensorflow数据集转换为包含图像和标签的2个数组

时间:2020-01-22 11:17:07

标签: python numpy tensorflow2.0 tensorflow-datasets

我正在使用TensorFlow 2.0,我有一个批处理的数据集,其中包含968个图像和每个图像的标签(4个元素数组):

dataSetSize = allDataSet.reduce(0, lambda x, _: x + 1).numpy()
allDataSet = allDataSet.shuffle(dataSetSize)
allDataSet = allDataSet.map(processPath, num_parallel_calls=tf.data.experimental.AUTOTUNE)
allDataSet = allDataSet.batch(10)
predictions = loadedModel.predict(allDataSet)

onlyImages = # how to create this?
onlyLabels = # how to create this?

# the 'map' function in my dataset returns a batch of images and their corresponding labels
for idx, (imageBatch, labelBatch) in enumerate(allDataSet) :
    # how to concatenate batches together?
    onlyImages = # ?
    onlyLabels = # ?

我需要将此数据集分成两个numpy数组。第一个数组应仅包含968个图像(形状:(968,299,299,3)),第二个数组应包含968个标签(形状:(968,4))。我该怎么办?

我检查了类似的问题here,但是这些示例似乎使用的是Tensorflow 1.x,并且包含不同的输入类型?

数据集和类型的大小

dataset size:  968
<DatasetV1Adapter shapes: ((None, 299, 299, 3), (None, 4)), types: (tf.float32, tf.float32)

1 个答案:

答案 0 :(得分:1)

如果我很好地理解了您的问题,那么现在您需要做的是在遍历数据集时将其连接到numpy数组。请注意,在迭代期间,如果您应用.numpy()操作,则会自动从tf.tensor转换为np.array

因此,您可以使用以下选项:

  1. 根据文档,

      a = np.array([[1, 2], [3, 4]])
      b = np.array([[5, 6]])
      np.concatenate((a, b), axis=0)
    

    输出为:

    array([[1, 2],
           [3, 4],
           [5, 6]])
    

    因此,在您的代码中,定义一个初始的空numpy数组, 在axis=0上串联(使用imageBatch和labelBatch)。

  2. 或者您可以使用提供相同结果的np.vstacknp.concatenate使用np.vstack)。