大型阵列上的Numpy Unique速度缓慢...有什么方法可以加快速度吗?

时间:2020-09-09 17:00:15

标签: python numpy sorting unique slice

我正在使用以下代码加载numpy数组,在第一列中找到唯一的日期,然后根据日期从numpy数组中提取一个切片。非常慢。有什么办法可以加快速度吗?也许如果我在第一列上对大数组进行排序?

db = np.load('/content/drive/My Drive/Share/Daily Data/Database/db_unranked.npy', mmap_mode='r',allow_pickle=True)
dates = np.unique(db[:,0])
data = db[db[:,0]==dates[0]]

db_unranked.npy的Arary是21GB,大约有800万行和345列。 np.unique耗时10分钟以上,我已经等了30分钟才能完成切片,但仍未完成。我正在使用Google Colab。

0 个答案:

没有答案