len(arr)和arr.shape [0]之间的性能差距

时间:2018-07-13 19:56:55

标签: python arrays performance numpy micro-optimization

我发现len(arr)的速度几乎是arr.shape[0]的两倍,并且想知道为什么。

我正在使用Python 3.5.2,Numpy 1.14.2,IPython 6.3.1

下面的代码演示了这一点:

arr = np.random.randint(1, 11, size=(3, 4, 5))

%timeit len(arr)
# 62.6 ns ± 0.239 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

%timeit arr.shape[0]
# 102 ns ± 0.163 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

我还做了一些比较测试:

class Foo():
    def __init__(self):
        self.shape = (3, 4, 5)        

foo = Foo()

%timeit arr.shape
# 75.6 ns ± 0.107 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

%timeit foo.shape
# 61.2 ns ± 0.281 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

%timeit foo.shape[0]
# 78.6 ns ± 1.03 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

所以我有两个问题:

1)为什么len(arr)arr.shape[0]工作更快? (我原以为len会因为函数调用而变慢)

2)为什么foo.shape[0]arr.shape[0]工作更快? (换句话说,在这种情况下,numpy数组会产生哪些开销?)

1 个答案:

答案 0 :(得分:6)

numpy数组数据结构用C实现。数组的维存储在C结构中。它们没有存储在Python元组中。因此,每次阅读shape属性时,都会创建一个新的Python元组,其中包含新的Python整数对象。当您使用arr.shape[0]时,该元组将被索引以提取第一个元素,这会增加一些开销。 len(arr)只需要创建一个Python整数。

每次读取时,您都可以轻松地验证arr.shape创建一个新的元组:

In [126]: arr = np.random.randint(1, 11, size=(3, 4, 5))

In [127]: s1 = arr.shape

In [128]: id(s1)
Out[128]: 4916019848

In [129]: s2 = arr.shape

In [130]: id(s2)
Out[130]: 4909905024

s1s2具有不同的id;它们是不同的元组对象。