如果我有多个TFRecords，如何使用slim.dataset_data_provider？

Question

我正在使用slim.dataset_data_provider。例如，

my_dataset = slim.dataset.Dataset(
           data_sources='datasets/my_data.tfrecord`,
           reader=reader,
           decoder=decoder,
           ...)

provider = slim.dataset_data_provider.DatasetDataProvider(
           my_dataset,
           ...)

我发现这是非常有说服力的。但是，my_data.tfrecord现在已经大约15GB，我应该收到更多数据。我想保留几个TFRcord文件，例如my_data_A.tfrecord，my_data_B.tfrecord等，而不是重新创建一个巨大的TFRecord文件。

如果我有多个TFrecord文件，我该如何使用slim.dataset_data_provider？或者，有没有办法做到这一点？

Answer 1

通过实验，我认为可以使用几个tfrecords，例如

my_dataset = slim.dataset.Dataset(
       data_sources=['a.tfrecord`, 'b.tfrecord`],
       reader=reader,
       decoder=decoder,
       ...)