根据您的经验，.tfrecord文件的理想大小将在各种设备（硬盘，ssd，nvme）和存储位置（本地计算机，具有网络安装的hpc群集）上最有效？
如果我在技术上更强大的云计算机上的性能比本地PC上的性能慢，那么tfrecord数据集的大小是否会成为瓶颈的根本原因？
谢谢
答案 0 :(得分：1)
Tensorflow官方网站建议约100MB（https://www.tensorflow.org/performance/performance_guide）
答案 1 :(得分：1)
当前（2020年9月19日），Google建议遵循以下经验法则：
“通常，应该将数据分片到多个文件中，以便可以并行化I / O（在单个主机或多个主机中）。经验法则是文件的数量至少是那里的10倍。将是读取数据的主机。同时，每个文件都应该足够大（至少10 + MB，最好是100MB +），以便您可以从I / O预取中受益。例如，假设您有X GB的数据并且您计划最多可以训练N台主机。理想情况下，只要〜X /（10 N）是10+ MB（最好是100+ MB），就应该将数据分片到〜10 N个文件。如果小于该值，则可能需要创建更少的碎片来权衡并行性优势和I / O预取优势。”