使用Python读取包含数十万个文件的目录中的单个文件的快速方法

Question

我需要从包含200k文件的目录中连续读取单个.h5文件。

对于具有50k文件的目录来说，这似乎足够快，但是突然之间，当大约有100k以上文件时，它似乎非常慢...

关于为什么以及如何解决的任何想法？

我读到：

h5_file = myDir+fileName
with h5py.File(h5_file, 'r') as db:
    X = db['X'][()]
    Y = db['Y'][()]