我有一个65GB内存映射的numpy数组,我想索引:
arr = [[...],[...],[...],[...]] #a 65GB memory mapped numpy array
idx = [[...],[...],[...],[...]] #indices for fancy indexing arr
idxed_arr = arr[idx]
从this问题中学习,当花哨索引numpy数组时,没有简单或内存有效的方法来模仿视图。尝试了许多方法,如this,但它们要么非常慢,要么我的内存不足。
我最后的选择是一次复制几个样本(这非常慢)。我很开放,愿意在这一点上尝试任何事情。