使用numpy加载多个内存映射文件

时间:2016-03-07 22:52:09

标签: python numpy memory-mapped-files

我试图加载两个内存映射文件,

temp = numpy.load(currentDirectory + "\\tmp\\temperature.npy", mmap_mode='r')
salinity = numpy.load(currentDirectory + "\\tmp\\salinity.npy", mmap_mode='r')

但是Python会抛出以下错误:

IOError: Failed to interpret file 'C:\\my\\file\\path\\..\\tmp\\salinity.npy' as a pickle

当我自己加载时,它可以正常工作。

文件非常大(约500MB),但我不认为它们是值得注意的。

问题可能在这里?

1 个答案:

答案 0 :(得分:1)

这对我有用。这两个文件都大于5GB。

X = np.load(os.path.join(path, '_file1.npy'), mmap_mode='r')
Y = np.load(os.path.join(path, '_file2.npy'), mmap_mode='r')

您使用的是哪种操作系统?问题不在于" npy"文件,但问题是" \"在路上。改变你的道路:

path = '/media/gtx1060/DATA/Datasets'