如何获取TFRecord文件中包含的条目总数？

Question

我可以用tensorflow编写和读取TFrecord文件。如何快速获取TFRecord文件中包含的条目总数？有没有API来计算？

Answer 1

TFRecords file format基本上是一系列结构形式：

struct TFRecords {
    uint64_t length;
    uint32_t length_checksum;
    uint8_t data[length];
    uint32_t data_checksum;
} × N

没有元数据来说明有多少条目，因此获得总数的唯一可靠方法是读取整个文件（因此没有API可以快速获得总数），然后调用num_records_produced()。< / p>

您可以在生成TFRecords时将包含该数字的自定义元数据编写为第一条记录。

如果您确定每条记录的长度都相同，那么您可以将条目数量设为decompressed_file_size / (length_of_each_record + 16)。