您可以在TF数据集中嵌套随机播放缓冲区吗?

时间:2019-06-14 16:32:55

标签: python tensorflow tensorflow-datasets

我有一个张量流数据集列表,我想通过交错将其展平为一个数据集。理想情况下,这些数据集中的每个数据集都可以拥有自己的混洗缓冲区,然后最终的扁平化数据集也将具有混洗缓冲区。这可能吗?

我已经在本地进行了测试,但似乎没有用,但是我希望有一个更具体的答案或解释。


SHUFFLE_BUFFER_SIZE = 1000

create_nested_dataset(file_path):
  csv_dataset = tf.data.experimental.CsvDataset(file_path, ...)

  # apply other operations 
  # ...

  # shuffle
  shuffled_dataset = csv_dataset.shuffle(SHUFFLE_BUFFER_SIZE)

  return shuffled_dataset

single_dataset = nested_datasets.interleave(...)

final_dataset = single_dataset.shuffle(SHUFFLE_BUFFER_SIZE)

return final_dataset

0 个答案:

没有答案