在Python中切片列表而不生成副本

时间:2011-02-27 04:54:23

标签: python list slice

我有以下问题。

  

给定一个整数列表L,我需要生成所有子列表L[k:] for k in [0, len(L) - 1]而不生成副本

如何在Python中完成此操作?以某种方式使用缓冲区对象?

5 个答案:

答案 0 :(得分:89)

简短回答

切片列表不会生成列表中对象的副本;它只是复制对它们的引用。这就是问题的答案。

答案很长

测试可变和不可变值

首先,让我们测试基本声明。我们可以证明,即使在整数等不可变对象的情况下,也只复制引用。以下是三个不同的整数对象,每个对象具有相同的值:

>>> a = [1000 + 1, 1000 + 1, 1000 + 1]

它们具有相同的值,但您可以看到它们是三个不同的对象,因为它们具有不同的id s:

>>> map(id, a)
[140502922988976, 140502922988952, 140502922988928]

切片时,引用保持不变。没有创建新对象:

>>> b = a[1:3]
>>> map(id, b)
[140502922988952, 140502922988928]

使用具有相同值的不同对象表明复制过程不会对interning感到烦恼 - 它只是直接复制引用。

使用可变值进行测试会得到相同的结果:

>>> a = [{0: 'zero', 1: 'one'}, ['foo', 'bar']]
>>> map(id, a)
[4380777000, 4380712040]
>>> map(id, a[1:]
... )
[4380712040]

检查剩余内存开销

当然会复制引用本身。每个在64位计算机上花费8个字节。每个列表都有自己的72字节内存开销:

>>> for i in range(len(a)):
...     x = a[:i]
...     print('len: {}'.format(len(x)))
...     print('size: {}'.format(sys.getsizeof(x)))
... 
len: 0
size: 72
len: 1
size: 80
len: 2
size: 88

作为Joe Pinsonault reminds us,这种开销加起来。整数对象本身不是很大 - 它们比引用大三倍。因此,从绝对意义上说,这可以节省一些内存,但渐渐地,能够将多个列表作为“视图”放入同一个内存中可能会很好。

使用视图

保存内存

不幸的是,Python没有提供简单的方法来生成列表中“视图”的对象。或许我应该说“幸运”!这意味着您不必担心切片的来源;对原始的更改不会影响切片。总的来说,这使得对程序行为的推理变得更加容易。

如果您确实希望通过使用视图来节省内存,请考虑使用numpy数组。切片numpy数组时,内存在切片和原始数据之间共享:

>>> a = numpy.arange(3)
>>> a
array([0, 1, 2])
>>> b = a[1:3]
>>> b
array([1, 2])

当我们修改a并再次查看b时会发生什么?

>>> a[2] = 1001
>>> b
array([   1, 1001])

但这意味着你必须确保在修改一个对象时,你不会无意中修改另一个对象。这是你使用numpy时的权衡:减少计算机的工作量,为程序员做更多的工作!

答案 1 :(得分:20)

根据您的操作,您可以使用islice

由于它是通过迭代操作的,因此它不会创建新的列表,而只是创建迭代器,原始列表中的yield元素按其范围请求。

答案 2 :(得分:4)

islice的一种简单替代方案,它不需要遍历不需要的列表项:

def listslice(xs, *args):
    for i in range(len(xs))[slice(*args)]:
        yield xs[i]

用法:

>>> xs = [0, 2, 4, 6, 8, 10]

>>> for x in listslice(xs, 2, 4):
...     print(x)
4
6

答案 3 :(得分:1)

我写了一个ListView类,避免了复制列表的书脊:

https://gist.github.com/3noch/b5f3175cfe39aea71ca4d07469570047

这支持嵌套切片,以便您可以继续切片到视图以缩小视图。例如:ListView(list(range(10)))[4:][2:][1] == 7

请注意,这还没有完全解决,当基础列表和测试套件一起发生突变时,还应该进行大量错误检查。

答案 4 :(得分:0)

通常,列表切片是最好的选择。

这是一个快速的性能比较:

from timeit import timeit
from itertools import islice

for size in (10**4, 10**5, 10**6):
    L = list(range(size))
    S = size // 2
    def sum_slice(): return sum(L[S:])
    def sum_islice(): return sum(islice(L, S, None))
    def sum_for(): return sum(L[i] for i in range(S, len(L)))

    assert sum_slice() == sum_islice()
    assert sum_slice() == sum_for()

    for method in (sum_slice, sum_islice, sum_for):
        print(f'Size={size}, method={method.__name__}, time={timeit(method, number=1000)} ms')

结果:

Size=10000,   method=sum_slice,  time=0.0298 ms
Size=10000,   method=sum_islice, time=0.0449 ms
Size=10000,   method=sum_for,    time=0.2500 ms
Size=100000,  method=sum_slice,  time=0.3262 ms
Size=100000,  method=sum_islice, time=0.4492 ms
Size=100000,  method=sum_for,    time=2.4849 ms
Size=1000000, method=sum_slice,  time=5.4092 ms
Size=1000000, method=sum_islice, time=5.1139 ms
Size=1000000, method=sum_for,    time=26.198 ms