我有一个张量流数据集列表,我想通过交错将其展平为一个数据集。理想情况下,这些数据集中的每个数据集都可以拥有自己的混洗缓冲区,然后最终的扁平化数据集也将具有混洗缓冲区。这可能吗?
我已经在本地进行了测试,但似乎没有用,但是我希望有一个更具体的答案或解释。
SHUFFLE_BUFFER_SIZE = 1000
create_nested_dataset(file_path):
csv_dataset = tf.data.experimental.CsvDataset(file_path, ...)
# apply other operations
# ...
# shuffle
shuffled_dataset = csv_dataset.shuffle(SHUFFLE_BUFFER_SIZE)
return shuffled_dataset
single_dataset = nested_datasets.interleave(...)
final_dataset = single_dataset.shuffle(SHUFFLE_BUFFER_SIZE)
return final_dataset