在张量流中连接大量数据集的问题

时间:2019-01-23 00:53:32

标签: tensorflow tensorflow-datasets

我有34个tfrecord文件。我想将它们全部串联为a.concatenate(b),其中ab都是数据集。下面是我的代码:

with tf.name_scope('TFRecordsTrain'):
    for i, file_name in enumerate(filenames_train):
        print(i)
        prev_dataset_train = tf.data.TFRecordDataset(file_name).map(_parse_function).batch(2)
        if i == 0:
            dataset_train_all = prev_dataset_train
        elif i < 20:
            dataset_train_all = dataset_train_all.concatenate(prev_dataset_train)

然后什么也没有发生。请注意,该程序不会冻结;相反,它只是停止工作。我想知道背景发生了什么。

非常感谢您的帮助!

0 个答案:

没有答案