但是,关于计算两个或更多系列的组合的最佳方法的问题较少。提供了解决方案(1,2),但不讨论何时以及为何应该使用每个解决方案。
以下是三种潜在方法的基准测试。我有两个具体问题:
grouper
比count
效率更高?我希望count
效率更高,因为它在C中实现。即使列数从2增加到4,grouper
的优越性能仍然存在。value_counter
表现不如grouper
?这是由于从列表构建列表或系列的成本吗?我理解输出是不同的,这也应该告知选择。例如,使用连续numpy
数组与字典理解相比,按计数过滤效率更高:
x, z = grouper(df), count(df)
%timeit x[x.values > 10] # 749µs
%timeit {k: v for k, v in z.items() if v > 10} # 9.37ms
然而,我的问题的重点是在一系列与字典中的建立可比结果的表现。我的C知识是有限的,但我会感谢任何可以指出这些方法的基础逻辑的答案。
基准代码
import pandas as pd
import numpy as np
from collections import Counter
np.random.seed(0)
m, n = 1000, 100000
df = pd.DataFrame({'A': np.random.randint(0, m, n),
'B': np.random.randint(0, m, n)})
def grouper(df):
return df.groupby(['A', 'B'], sort=False).size()
def value_counter(df):
return pd.Series(list(zip(df.A, df.B))).value_counts(sort=False)
def count(df):
return Counter(zip(df.A.values, df.B.values))
x = value_counter(df).to_dict()
y = grouper(df).to_dict()
z = count(df)
assert (x == y) & (y == z), "Dictionary mismatch!"
for m, n in [(100, 10000), (1000, 10000), (100, 100000), (1000, 100000)]:
df = pd.DataFrame({'A': np.random.randint(0, m, n),
'B': np.random.randint(0, m, n)})
print(m, n)
%timeit grouper(df)
%timeit value_counter(df)
%timeit count(df)
基准测试结果
在python 3.6.2上运行,pandas 0.20.3,numpy 1.13.1
机器规格:Windows 7 64位,双核2.5 GHz,4GB RAM。
密钥:g = grouper
,v = value_counter
,c = count
。
m n g v c
100 10000 2.91 18.30 8.41
1000 10000 4.10 27.20 6.98[1]
100 100000 17.90 130.00 84.50
1000 100000 43.90 309.00 93.50
1 这不是拼写错误。
答案 0 :(得分:17)
zip(df.A.values, df.B.values)
实际上有一些隐藏的开销。这里的关键是numpy数组以与Python对象完全不同的方式存储在内存中。
numpy数组(例如np.arange(10)
)实际上存储为连续的内存块,而不是单独的Python对象。相反,Python列表(例如list(range(10))
)作为指向各个Python对象(即整数0-9)的指针存储在内存中。这个差异是为什么numpy数组在内存中比Python等效列表更小的基础,以及为什么你可以在numpy数组上执行更快的计算。
因此,当Counter
消耗zip
时,需要将关联的元组创建为Python对象。这意味着Python需要从numpy数据中提取元组值,并在内存中创建相应的Python对象。这有明显的开销,这就是为什么在将纯Python函数与numpy数据组合时要非常小心的原因。您可能经常看到的这个陷阱的一个基本示例是在numpy数组上使用内置Python sum
:sum(np.arange(10**5))
实际上比纯Python sum(range(10**5))
慢一点,两者都是其中当然明显慢于np.sum(np.arange(10**5))
。
有关此主题的更深入讨论,请参阅this video。
作为特定于此问题的示例,请观察以下时序,比较压缩numpy数组Counter
与相应压缩Python列表的性能。
In [2]: a = np.random.randint(10**4, size=10**6)
...: b = np.random.randint(10**4, size=10**6)
...: a_list = a.tolist()
...: b_list = b.tolist()
In [3]: %timeit Counter(zip(a, b))
455 ms ± 4.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
In [4]: %timeit Counter(zip(a_list, b_list))
334 ms ± 4.2 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
这两个时间之间的差异使您可以合理估计前面讨论的开销。
但这并不是故事的结局。在pandas中构造groupby
对象也涉及一些开销,至少与此问题相关,因为有一些groupby
元数据并不是仅仅获得size
所必需的,而{ {1}}做你唯一关心的单一事情。通常这个开销远远低于与Counter
相关的开销,但是从一些快速实验中我发现当你的大多数组只包含单个时,你可以从Counter
获得略微更好的性能。元件。
考虑以下时间(使用@ BallpointBen的Counter
建议),这些时间沿着几个大组的范围进行 - < - >许多小团体:
sort=False
这给了我下表:
def grouper(df):
return df.groupby(['A', 'B'], sort=False).size()
def count(df):
return Counter(zip(df.A.values, df.B.values))
for m, n in [(10, 10**6), (10**3, 10**6), (10**7, 10**6)]:
df = pd.DataFrame({'A': np.random.randint(0, m, n),
'B': np.random.randint(0, m, n)})
print(m, n)
%timeit grouper(df)
%timeit count(df)
当然,m grouper counter
10 62.9 ms 315 ms
10**3 191 ms 535 ms
10**7 514 ms 459 ms
的任何收益都可以通过转换回Counter
来抵消,如果这是您想要的最终对象。