如何从远程HDFS文件系统并行高效地读取TensorFlow中的TFRecord文件

Question

我正在通过TensorFlow中的tf.data.TFRecordDataset API从远程HDFS文件系统读取TFRecords数据文件。但是，当我将num_parallel_reads从1增加到32时，不仅读取速度没有提高，而且读取数据花费的时间更长。有什么技巧可以正确设置num_parallel_reads来提高性能？我知道tf.data.TFRecordDataset使用并行交错应该是很好的。