Question

我有一个从tfrecords中读取的三元组图像的数据集，并已使用以下代码将其转换为数据集

    def parse_dataset(record):
        def convert_raw_to_image_tensor(raw):
            raw = tf.io.decode_base64(raw)
            image_shape = tf.stack([299, 299, 3])
            decoded = tf.io.decode_image(raw, channels=3, 
                                dtype=tf.uint8, expand_animations=False)
            decoded = tf.cast(decoded, tf.float32)
            decoded = tf.reshape(decoded, image_shape)
            decoded = tf.math.divide(decoded, 255.)
            return decoded

        features = {
            'n': tf.io.FixedLenFeature([], tf.string),
            'p': tf.io.FixedLenFeature([], tf.string),
            'q': tf.io.FixedLenFeature([], tf.string)
        }
        sample = tf.io.parse_single_example(record, features)
        neg_image = sample['n']
        pos_image = sample['p']
        query_image = sample['q']

        neg_decoded = convert_raw_to_image_tensor(neg_image)
        pos_decoded = convert_raw_to_image_tensor(pos_image)
        query_decoded = convert_raw_to_image_tensor(query_image)
        return (neg_decoded, pos_decoded, query_decoded)

    record_dataset = tf.data.TFRecordDataset(filenames=path_dataset, num_parallel_reads=4)
    record_dataset = record_dataset.map(parse_dataset)

此结果数据集的形状为

<MapDataset shapes: ((299, 299, 3), (299, 299, 3), (299, 299, 3)), types: (tf.float32, tf.float32, tf.float32)>

我认为

意味着每个条目包含3张图像（通过遍历数据集并打印第1、2和3rd个元素来确认这些图像）。我想对此进行展平，因此得到的数据集不包含任何元组，而仅包含图像的平坦列表。我尝试过使用flat_map，但是只是将图像转换为（299，3），并且尝试遍历数据集，将每个图像附加到列表中，然后调用convert_to_tensor_slices，但这确实效率很低。

我读过this question，但似乎没有帮助。

这是我尝试过的flat_map代码

record_dataset = record_dataset.flat_map(lambda *x: tf.data.Dataset.from_tensor_slices(x))

，结果数据集具有此形状

<FlatMapDataset shapes: ((299, 3), (299, 3), (299, 3)), types: (tf.float32, tf.float32, tf.float32)>

Answer 1

我认为您只是错误地打开了元组的包装。

这应该做到：

def flatten(*x):
  return tf.data.Dataset.from_tensor_slices([i for i in x])

flattened = record_dataset.flat_map(flatten)

这样：

for i in flattened:
  print(i.shape)

给予：

(299, 299, 3)
(299, 299, 3)
(299, 299, 3)
(299, 299, 3)
...

符合预期

拉伸张量流数据集中的图像元组

1 个答案: