Question

我有一维numpy数组（array_）和一个Python列表（list _）。

以下代码有效，但效率低，因为切片涉及不必要的副本（当然对于Python列表，我也相信numpy数组？）：

result = sum(array_[1:])
result = sum(list_[1:])

重写它的好方法是什么？

Answer 1

切片numpy数组不会制作副本，就像列表一样。

作为一个基本的例子：

import numpy as np
x = np.arange(100)
y = x[1:5]
y[:] = 1000
print x[:10]

这会产生：

[   0 1000 1000 1000 1000    5    6    7    8    9]

即使我们修改了y中的值，它也只是与x相同的内存视图。

切片ndarray会返回一个视图，并且不会复制内存。

但是，使用array_[1:].sum()而不是在numpy数组上调用python的内置sum会更有效。

快速比较：

In [28]: x = np.arange(10000)

In [29]: %timeit x.sum()
100000 loops, best of 3: 10.2 us per loop

In [30]: %timeit sum(x)
100 loops, best of 3: 4.01 ms per loop

编辑：

如果是列表，如果由于某种原因您不想复制，则可以始终使用itertools.islice。而不是：

result = sum(some_list[1:])

你可以这样做：

result = sum(itertools.islice(some_list, 1, None))

但在大多数情况下，这是过度的。如果您处理列表的时间足够长，以至于内存管理是一个主要问题，那么您可能不应该使用列表来存储您的值。（列表并非旨在或旨在将内容紧凑地存储在内存中。）

此外，您不希望为numpy数组执行此操作。简单地执行some_array[1:].sum()将会快几个数量级，并且不会使用任何更多的内存而不是islice。

Answer 2

我的第一直觉与Joe Kington在列表中的相同，但我检查过，至少在我的机器上，islice一直比较慢！

>>> timeit.timeit("sum(l[50:950])", "l = range(1000)", number=10000)
1.0398731231689453
>>> timeit.timeit("sum(islice(l, 50, 950))", "from itertools import islice; l = range(1000)", number=10000)
1.2317550182342529
>>> timeit.timeit("sum(l[50:950000])", "l = range(1000000)", number=10)
7.9020509719848633
>>> timeit.timeit("sum(islice(l, 50, 950000))", "from itertools import islice; l = range(1000000)", number=10)
8.4522969722747803

我尝试了custom_sum并发现它更快，但不是很多：

>>> setup = """
... def custom_sum(list, start, stop):
...     s = 0
...     for i in xrange(start, stop):
...         s += list[i]
...     return s
... 
... l = range(1000)
... """
>>> timeit.timeit("custom_sum(l, 50, 950)", setup, number=1000)
0.66767406463623047

此外，在更大的数字，它到目前为止更慢！

>>> setup = setup.replace("range(1000)", "range(1000000)")
>>> timeit.timeit("custom_sum(l, 50, 950000)", setup, number=10)
14.185815095901489

我想不出别的东西要测试。（想，有人吗？）

Answer 3

@Joe Kington（这只是显示我的时间的临时答案，我很快就会将其删除）：

In []: x= arange(1e4)
In []: %timeit sum(x)
100000 loops, best of 3: 18.8 us per loop
In []: %timeit x.sum()
100000 loops, best of 3: 17.5 us per loop
In []: x= arange(1e5)
In []: %timeit sum(x)
10000 loops, best of 3: 165 us per loop
In []: %timeit x.sum()
10000 loops, best of 3: 158 us per loop
In []: x= arange(1e2)
In []: %timeit sum(x)
100000 loops, best of 3: 4.44 us per loop
In []: %timeit x.sum()
100000 loops, best of 3: 3.2 us per loop

就我的numpy（1.5.1）消息来源而言，sum(.)只是x.sum(.)的包装器。因此，对于较大的输入，sum(.)和x.sum(.)的执行时间相同（渐近）。

编辑：这个答案只是一个临时的答案，但实际上它（及其评论）可能对某人有用。所以我就像现在一样离开它，直到有人真的要我删除它。

Answer 4

我发现x[1:].sum()明显慢于x.sum()。对于列表sum(x) - x[0]比sum(x[1:])快（OMM大约快40％）。

蟒蛇＆amp; numpy：数组切片的总和

4 个答案: