例如,我有一个list
(也可以是numpy.array
或其他任何东西,我只是想知道一种更快的方法,而不关心数据类型)['a','b','c','d']
,我想得到['ab','bc','cd']
。
当然有一个简单的解决方案,例如:
letters = list('abcdefghijk')
my_list = [letters[i:i+2] for i in range(len(letters)-1)]
my_list
是:
[['a', 'b'],
['b', 'c'],
['c', 'd'],
['d', 'e'],
['e', 'f'],
['f', 'g'],
['g', 'h'],
['h', 'i'],
['i', 'j'],
['j', 'k']]
但是我想知道有没有更快的方法可以通过numpy
或其他方式完成此操作,因为我想使用相对大的数据来完成此操作,因此简单的for
循环可能会很昂贵。
更新 现在让我总结一下下面的答案。非常感谢到目前为止@Ehsan和@Andy L的答案。我通过下面的代码用相对较大的数据对它们的所有解决方案进行了非常简单的测试:
import time
import numpy as np
from numba import njit
import matplotlib.pyplot as plt
from numpy.lib.stride_tricks import as_strided
def m1(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
@njit
def m2(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
def m3(letters):
return np.char.add(letters[:-1], letters[1:])
def m4(letters):
n = len(letters) - 1
m = np.array(letters[0]).itemsize
arr = as_strided(letters, shape=(n, 2), strides=(m, m))
return arr
def test_time(testfunc,args):
start = time.time()
testfunc(*args)
return time.time() - start
# test
ns = [10000, 100000, 1000000, 10000000]
timecost = []
for n in ns:
input_=np.random.choice(list('abcdefghijklmnopqrstuvwxyz'), size=n)
cost = [test_time(testfunc, [input_]) for testfunc in [m1, m2, m3,m4]]
timecost.append(cost)
# result plot
timecost = np.array(timecost)
labels = ['normal','numba.njit','numpy.char.add','numpy.lib.stride_tricks.as_strided']
for i in range(timecost.shape[-1]):
plt.plot(ns, timecost[:, i], label=labels[i])
plt.legend()
plt.savefig('result.png')
结果表明,使用np.char.add
和numba
时,在较大数据上的性能确实比常规方法更好,但是stride_tricks
的性能甚至更好:时间成本降低超过两个数量级。
答案 0 :(得分:3)
您可以使用numpy:
np.char.add(letters[:-1],letters[1:])
#['ab' 'bc' 'cd' 'de' 'ef' 'fg' 'gh' 'hi' 'ij' 'jk']
使用numba的另一种方法:
@njit
def m2(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
比较,使用benchit
:
def m1(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
@njit
def m2(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
def m3(letters):
return np.char.add(letters[:-1],letters[1:])
in_ = [np.random.choice(list(string.ascii_lowercase),size=n) for n in [100,1000,10000,100000]]
它们看起来都一样(注意:不确定benchit
是否为Numba进行了AOT编译):
答案 1 :(得分:3)
使用as_strided
库中的stride_tricks
from numpy.lib.stride_tricks import as_strided
n = len(letters) - 1
m = np.array(letters[0]).itemsize
arr = as_strided(letters, shape=(n, 2), strides=(m, m))
Out[289]:
array([['a', 'b'],
['b', 'c'],
['c', 'd'],
['d', 'e'],
['e', 'f'],
['f', 'g'],
['g', 'h'],
['h', 'i'],
['i', 'j'],
['j', 'k']], dtype='<U1')