Question

我有一个文件，其中包含每个.npy文件的所有路径名。我有大约500万个文件，所以我想避免不必要的文件。

我需要做的是将它们全部加载到我的数据变量中：

data = np.load（input_file_w_pathnames）

我知道这不起作用，但我想知道是否有人知道一种聪明的方法来做类似的事情，或者至少是一种有效地做到这一点的方法。

Answer 1

np.load采用文件名或文件对象（您打开的文件）。它使用标准的Python文件阅读工具。它不需要多个名称或文件。

np.stack([np.load(f) for f in ['x.npy','x.npy','x.npy']])

可以将每个文件中的数组连接成一个更大的数组，它仍然按文件加载来执行文件。

请记住，numpy'效率'是通过在编译代码中执行任务来实现的 - 由于编译速度更快，而不是因为它绕过了任务的串行性质。并且这项任务经常不足以保证特殊代码。

我假设您可以轻松处理将文件名加载到列表中。