Question

我正在寻找一种方法来降低Python 3.5在列表解析中使用两个for循环所需的执行时间，如下所示：

[[(k1-k2)**power for k2 in range(m,n)] for k1 in range(m,n)]

Answer 1

所以，我从你当前的方法开始，发现虽然它确实有效，但它很慢。我的第一次尝试只是简单地将列表理解转换为适合numpy数组的方法。这大约是原始方法的三倍，但是当我注意到一些非常漂亮的东西时：这是一个对称的Toeplitz matrix。从那个维基页面：

在线性代数中，以Otto Toeplitz命名的Toeplitz矩阵或对角线常数矩阵是一个矩阵，其中每个从左到右的下降对角线是恒定的。

我首先使用了Toeplitz矩阵的默认scipy实现，但这种方法对于您的问题来说是不必要的。所以我给自己写了一个类似的方法，这是下面的第三次尝试。

方法

我为每种方法运行了10次测试，每次测试包含1000次运行。我将参数设置为m = 10, n = 100。结果可以在下表中找到：

    Your approach       Numpy #1     Numpy #2     Numpy #3
1        4.573965       1.432406     1.060242     0.186767
2        4.341466       1.432237     1.060404     0.186872
3        4.442438       1.434460     1.144850     0.183120
4        4.318919       1.456928     1.072072     0.185626
5        4.249392       1.450684     1.072217     0.183273
6        4.202730       1.508863     1.070299     0.183019
7        4.224226       1.457543     1.065354     0.183591
8        4.234505       1.432971     1.082438     0.185711
9        4.256538       1.431828     1.080051     0.184290
10       4.241055       1.557204     1.083070     0.185845

AVG      4.308523       1.459512     1.079100     0.184811
STD      0.117433       0.041693     0.024538     0.001521

scipy Toeplitz方法（表中Numpy #2）几乎是当前方法的四倍，但所有这些结果与第三种也是最后一种方法相比相形见绌：加速高达23倍在你的初步实施！

现在，由于您对时间复杂度感兴趣，我让n变化，保持m = 10。每种方法的结果可以在下图中找到：

显然，第三种方法是要走的路！

代码

完整代码：

import timeit
import numpy as np
from scipy.linalg import toeplitz


def your_approach(m, n):
    print("\n\tlist comprehension")
    k = range(m, n)
    for i in range(1, 11):
        start = timeit.default_timer()
        for j in range(1, 1001):
            data_list_comp = [[(k1 - k2) ** 2 for k2 in k] for k1 in k]
        print("\t{}".format(timeit.default_timer() - start))
    return data_list_comp


def numpy1(m, n):
    print("\n\tnumpy")
    k_n = np.array(range(m, n))
    for i in range(1, 11):
        start = timeit.default_timer()
        for j in range(1, 1001):
            data_numpy = [list((k_n - x) ** 2) for x in k_n]
        print("\t{}".format(timeit.default_timer() - start))
    return data_numpy


def numpy2(m, n):
    print("\n\ttoeplitz")
    k_n = np.array(range(0, n - m)) ** 2
    toep = toeplitz(k_n)
    for i in range(1, 11):
        start = timeit.default_timer()
        for j in range(1, 1001):
            data_numpy = [list(toep[:, i]) for i in range(n - m)]
        print("\t{}".format(timeit.default_timer() - start))
    return data_numpy

def numpy3(m, n):
    print("\n\ttoeplitz2")
    k_n = list(np.array(range(0, n - m)) ** 2)  # can obviously be done without numpy, but I was a bit lazy. :)
    for i in range(1, 11):
        start = timeit.default_timer()
        for j in range(1, 1001):
            data_numpy = [(k_n[i::-1] + k_n[1:-i]) if i != 0 else k_n for i in range(0, n - m)]
        print("\t{}".format(timeit.default_timer() - start))
    return data_numpy

m = 10

for n in [25, 50, 100, 150, 200]:
    assert your_approach(m, n) == numpy1(m, n) == numpy2(m, n) == numpy3(m, n)

在列表推导中增加多个for循环的时间

1 个答案:

方法

代码