使用tfrecord的子集

Question

是否可以将现有tfrecord用于生成标签的一个标签或标签的子集

我正在训练几个具有相同数据的模型，每个模型只需要一个或一个标签子集即可用于最初创建tfrecord。 tfrecord很大，因此我想为标签的每个模型子集创建一个。

Answer 1

tf.data.Dataset具有filter，skip和take的方法，您可能会觉得有用。另外，您可以将原始数据集拆分为多个tfrecord文件，然后基于这些文件的子集创建Dataset。

如果您乐意使用tensorflow_datasets重新创建数据，splits可能还会为您提供所需的内容。