替换具有平面子范围的数字列表

时间:2017-08-28 16:58:19

标签: python list numpy

给出一个数字列表,如下所示:

lst = [0, 10, 15, 17]

我希望i -> i + 3中的所有i都包含来自lst的元素的列表。如果有重叠的范围,我希望它们合并。

因此,对于上面的例子,我们首先得到:

[0, 1, 2, 3,     10, 11, 12, 13,     15, 16, 17, 18,   17, 18, 19, 20]

但对于最后两组,范围重叠,因此在合并它们时,您有:

[0, 1, 2, 3,     10, 11, 12, 13,     15, 16, 17, 18,     19, 20]

这是我想要的输出。

这就是我所想到的:

from collections import OrderedDict

res = list(OrderedDict.fromkeys([y for x in lst for y in range(x, x + 4)]).keys())
print(res) = [0, 1, 2, 3, 10, 11, 12, 13, 15, 16, 17, 18, 19, 20]

然而,这很慢(10000 loops, best of 3: 56 µs per loop)。如果可能的话,我想要一个numpy解决方案,或者比这更快的python解决方案。

1 个答案:

答案 0 :(得分:6)

方法#1:一种基于broadcasted求和的方法,然后使用np.unique获取唯一数字 -

np.unique(np.asarray(lst)[:,None] + np.arange(4))

方法#2:另一种基于广播总结然后屏蔽 -

def mask_app(lst, interval_len = 4):
    arr = np.array(lst)
    r = np.arange(interval_len)
    ranged_vals = arr[:,None] + r
    a_diff = arr[1:] - arr[:-1]
    valid_mask = np.vstack((a_diff[:,None] > r, np.ones(interval_len,dtype=bool)))
    return ranged_vals[valid_mask]

运行时测试

原创方法 -

from collections import OrderedDict
def org_app(lst):
    list(OrderedDict.fromkeys([y for x in lst for y in range(x, x + 4)]).keys())

计时 -

In [409]: n = 10000

In [410]: lst = np.unique(np.random.randint(0,4*n,(n))).tolist()

In [411]: %timeit org_app(lst)
     ...: %timeit np.unique(np.asarray(lst)[:,None] + np.arange(4))
     ...: %timeit mask_app(lst, interval_len = 4)
     ...: 
10 loops, best of 3: 32.7 ms per loop
1000 loops, best of 3: 1.03 ms per loop
1000 loops, best of 3: 671 µs per loop

In [412]: n = 100000

In [413]: lst = np.unique(np.random.randint(0,4*n,(n))).tolist()

In [414]: %timeit org_app(lst)
     ...: %timeit np.unique(np.asarray(lst)[:,None] + np.arange(4))
     ...: %timeit mask_app(lst, interval_len = 4)
     ...: 
1 loop, best of 3: 350 ms per loop
100 loops, best of 3: 14.7 ms per loop
100 loops, best of 3: 9.73 ms per loop

两个发布的方法的瓶颈似乎是转换为array,虽然这似乎在之后得到了很好的回报。只是为了了解最后一个数据集转换所花费的时间 -

In [415]: %timeit np.array(lst)
100 loops, best of 3: 5.6 ms per loop