排序numpy结构化和记录数组非常慢

时间:2013-10-30 12:40:18

标签: python arrays sorting numpy

看起来像单个列对numpy结构化和记录数组进行排序比在类似的独立数组上进行排序要慢得多:

In [111]: a = np.random.rand(1e4)

In [112]: b = np.random.rand(1e4)

In [113]: rec = np.rec.fromarrays([a,b])

In [114]: timeit rec.argsort(order='f0')
100 loops, best of 3: 18.8 ms per loop

In [115]: timeit a.argsort()
1000 loops, best of 3: 891 µs per loop

使用结构化数组有一个微小的改进,但它不是戏剧性的:

In [120]: struct = np.empty(len(a),dtype=[('a','f8'),('b','f8')])

In [121]: struct['a'] = a

In [122]: struct['b'] = b

In [124]: timeit struct.argsort(order='a')
100 loops, best of 3: 15.8 ms per loop

这表明从argsort创建索引数组然后使用它来重新排序各个数组可能会更快。这是可以的,除了我希望处理非常大的数组,并希望尽可能避免复制数据。有没有一种更有效的方法来做到这一点,我错过了?

2 个答案:

答案 0 :(得分:4)

使用order会减慢你的速度,而不是你有一个记录数组的事实。如果您想按单个字段排序,请按以下方式进行排序:

In [12]: %timeit np.argsort(rec['f0'])
1000 loops, best of 3: 829 us per loop

使用order后,无论您要排序多少字段,性能都会向南移动:

In [16]: %timeit np.argsort(rec, order=['f0'])
10 loops, best of 3: 27.9 ms per loop

In [17]: %timeit np.argsort(rec, order=['f0', 'f1'])
10 loops, best of 3: 28.4 ms per loop

答案 1 :(得分:3)

正如Jaime所说,您可以使用argsort对记录数组进行排序。

inds = np.argsort(rec['f0'])

并使用take来避免复制

np.take(rec, inds, out=rec)