设置

Question

考虑以下列表let UserSchema = mongoose.Schema({ username: String, password: String }) let UserModel = mongoose.model('UserModel', UserSchema) module.exports.UserSchema = UserSchema module.exports.UserModel = UserModel和short_list

long_list

如何按唯一值计算累计次数？

我想使用numpy并在线性时间内完成。我希望这可以将时间与其他方法进行比较。用我的第一个提出的解决方案来说明这可能是最简单的

short_list = list('aaabaaacaaadaaac')
np.random.seed([3,1415])
long_list = pd.DataFrame(
    np.random.choice(list(ascii_letters),
                     (10000, 2))
).sum(1).tolist()

我试图使用def pir1(l): s = pd.Series(l) return s.groupby(s).cumcount().tolist() print(np.array(short_list)) print(pir1(short_list)) ['a' 'a' 'a' 'b' 'a' 'a' 'a' 'c' 'a' 'a' 'a' 'd' 'a' 'a' 'a' 'c'] [0, 1, 2, 0, 3, 4, 5, 0, 6, 7, 8, 0, 9, 10, 11, 1]折磨自己，因为它返回一个计数数组，一个反向数组和一个索引数组。我确信我可以通过这些来解决问题。我得到的最好的是np.unique以下，它在二次时间内缩放。另外注意我不关心计数是从1开始还是零，因为我们可以简单地加1或减1。

以下是我的一些尝试（没有一个回答我的问题）

pir4

%%cython
from collections import defaultdict

def get_generator(l):
    counter = defaultdict(lambda: -1)
    for i in l:
        counter[i] += 1
        yield counter[i]

def pir2(l):
    return [i for i in get_generator(l)]

Answer 1

这是使用自定义分组范围创建功能的矢量化方法，np.unique用于获取计数 -

def grp_range(a):
    idx = a.cumsum()
    id_arr = np.ones(idx[-1],dtype=int)
    id_arr[0] = 0
    id_arr[idx[:-1]] = -a[:-1]+1
    return id_arr.cumsum()

count = np.unique(A,return_counts=1)[1]
out = grp_range(count)[np.argsort(A).argsort()]

示例运行 -

In [117]: A = list('aaabaaacaaadaaac')

In [118]: count = np.unique(A,return_counts=1)[1]
     ...: out = grp_range(count)[np.argsort(A).argsort()]
     ...: 

In [119]: out
Out[119]: array([ 0,  1,  2,  0,  3,  4,  5,  0,  6,  7,  8,  0,  9, 10, 11,  1])

为了获得count，可以提出很少的其他替代方案，重点关注绩效 -

np.bincount(np.unique(A,return_inverse=1)[1])
np.bincount(np.fromstring('aaabaaacaaadaaac',dtype=np.uint8)-97)

此外，如果A包含single-letter个字符，我们只需使用 -

即可获得计数

np.bincount(np.array(A).view('uint8')-97)

Answer 2

除了defaultdict之外，还有其他几个计数器。测试一个稍微简单的案例：

In [298]: from collections import defaultdict
In [299]: from collections import defaultdict, Counter
In [300]: def foo(l):
     ...:     counter = defaultdict(int)
     ...:     for i in l:
     ...:         counter[i] += 1
     ...:     return counter
     ...: 
In [301]: short_list = list('aaabaaacaaadaaac')
In [302]: foo(short_list)
Out[302]: defaultdict(int, {'a': 12, 'b': 1, 'c': 2, 'd': 1})
In [303]: Counter(short_list)
Out[303]: Counter({'a': 12, 'b': 1, 'c': 2, 'd': 1})
In [304]: arr=[ord(i)-ord('a') for i in short_list]
In [305]: np.bincount(arr)
Out[305]: array([12,  1,  2,  1], dtype=int32)

我构建了arr，因为bincount仅适用于整数。

In [306]: timeit np.bincount(arr)
The slowest run took 82.46 times longer than the fastest. This could mean that an intermediate result is being cached.
100000 loops, best of 3: 5.63 µs per loop
In [307]: timeit Counter(arr)
100000 loops, best of 3: 13.6 µs per loop
In [308]: timeit foo(arr)
100000 loops, best of 3: 6.49 µs per loop

我猜基于default_dict在pir2上很难改进。

这样的搜索和计数不是numpy的强大区域。

Answer 3

设置

short_list = np.array(list('aaabaaacaaadaaac'))

功能

dfill接受一个数组并返回数组更改的位置，并重复该索引位置，直到下一次更改。

# dfill
# 
# Example with short_list
#
#    0  0  0  3  4  4  4  7  8  8  8 11 12 12 12 15
# [  a  a  a  b  a  a  a  c  a  a  a  d  a  a  a  c]
#
# Example with short_list after sorting
#
#    0  0  0  0  0  0  0  0  0  0  0  0 12 13 13 15
# [  a  a  a  a  a  a  a  a  a  a  a  a  b  c  c  d]

argunsort返回撤消给定argsort数组的排序所需的排列。我知道这种方法的存在via this post.。有了这个，我可以得到argsort数组并用它对我的数组进行排序。然后我可以撤消排序而不需要再次排序的开销。

cumcount会对数组进行排序，找到dfill数组。少np.arange dfill会给我累积计数。然后我取消排序

# cumcount
# 
# Example with short_list
#
# short_list:
# [ a  a  a  b  a  a  a  c  a  a  a  d  a  a  a  c]
# 
# short_list.argsort():
# [ 0  1  2  4  5  6  8  9 10 12 13 14  3  7 15 11]
#
# Example with short_list after sorting
#
# short_list[short_list.argsort()]:
# [ a  a  a  a  a  a  a  a  a  a  a  a  b  c  c  d]
# 
# dfill(short_list[short_list.argsort()]):
# [ 0  0  0  0  0  0  0  0  0  0  0  0 12 13 13 15]
# 
# np.range(short_list.size):
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15]
#
# np.range(short_list.size) - 
#     dfill(short_list[short_list.argsort()]):
# [ 0  1  2  3  4  5  6  7  8  9 10 11  0  0  1  0]
# 
# unsorted:
# [ 0  1  2  0  3  4  5  0  6  7  8  0  9 10 11  1]

foo

defaultdict功能 @Divakar推荐的
div功能（旧的，我确定他会更新它）

码

def dfill(a):
    n = a.size
    b = np.concatenate([[0], np.where(a[:-1] != a[1:])[0] + 1, [n]])
    return np.arange(n)[b[:-1]].repeat(np.diff(b))

def argunsort(s):
    n = s.size
    u = np.empty(n, dtype=np.int64)
    u[s] = np.arange(n)
    return u

def cumcount(a):
    n = a.size
    s = a.argsort(kind='mergesort')
    i = argunsort(s)
    b = a[s]
    return (np.arange(n) - dfill(b))[i]

def foo(l):
    n = len(l)
    r = np.empty(n, dtype=np.int64)
    counter = defaultdict(int)
    for i in range(n):
        counter[l[i]] += 1
        r[i] = counter[l[i]]
    return r - 1

def div(l):
    a = np.unique(l, return_counts=1)[1]
    idx = a.cumsum()
    id_arr = np.ones(idx[-1],dtype=int)
    id_arr[0] = 0
    id_arr[idx[:-1]] = -a[:-1]+1
    rng = id_arr.cumsum()
    return rng[argunsort(np.argsort(l))]

示范

cumcount(short_list)

array([ 0,  1,  2,  0,  3,  4,  5,  0,  6,  7,  8,  0,  9, 10, 11,  1])

时间测试

码

functions = pd.Index(['cumcount', 'foo', 'foo2', 'div'], name='function')
lengths = pd.RangeIndex(100, 1100, 100, 'array length')
results = pd.DataFrame(index=lengths, columns=functions)

from string import ascii_letters

for i in lengths:
    a = np.random.choice(list(ascii_letters), i)
    for j in functions:
        results.set_value(
            i, j,
            timeit(
                '{}(a)'.format(j),
                'from __main__ import a, {}'.format(j),
                number=1000
            )
        )

results.plot()

如何使用numpy在线性时间内通过唯一值获取累积计数？

3 个答案:

设置

功能

码

示范

时间测试

码