我有一些非常简单的数据以长格式提供，我想转换成数组。行/列索引是字符串（但可以是非顺序的整数），值是浮点数。我在下面生成了一些简化数据。请注意，在转换为数组之前需要清理真正的原始数据，因此起点是pandas数据帧。
以下所有解决方案均可获得预期产量，但所测试的解决方案似乎都不令人满意。 pandas pivot / pivot_table解决方案非常优雅，但比不那么可读的numpy解决方案慢了几个。
之前有没有人遇到过这个问题，如果有的话，你找到了一个干净而快速的解决方案吗？
In [1]:
import pandas as pd
import numpy as np
import itertools
import random
import scipy.sparse
In [2]:
pairs = list(itertools.product('ABCD', repeat=2))
random.shuffle(pairs)
data = [(x,y,v) for (x,y),v in list(zip(pairs, np.linspace(0,1,len(pairs))))]
df = pd.DataFrame(data, columns=['row','col','value'], index=range(1,len(data)+1))
In [6]:
df
Out[6]:
row col value
1 D A 0.000000
2 B A 0.066667
3 D B 0.133333
4 C C 0.200000
5 A A 0.266667
6 B B 0.333333
7 C B 0.400000
8 A B 0.466667
9 A C 0.533333
10 C D 0.600000
11 D C 0.666667
12 C A 0.733333
13 A D 0.800000
14 D D 0.866667
15 B D 0.933333
16 B C 1.000000
array([[0.26666667, 0.46666667, 0.53333333, 0.8 ],
[0.06666667, 0.33333333, 1. , 0.93333333],
[0.73333333, 0.4 , 0.2 , 0.6 ],
[0. , 0.13333333, 0.66666667, 0.86666667]])
In [16]:
%%timeit
pivoted_arr1 = df.pivot_table(index='row', columns='col', values='value').values
3.77 ms ± 159 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
In [17]:
%%timeit
pivoted_arr1b = df.pivot(index='row', columns='col', values='value').values
1.15 ms ± 6.98 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [11]:
df = pd.DataFrame(data, columns=['row','col','value'], index=range(1,len(data)+1))
In [18]:
%%timeit
df_indexed = df.set_index(['row', 'col'])
pivoted_arr2 = scipy.sparse.coo_matrix((df_indexed.value, (df_indexed.index.labels[0], df_indexed.index.labels[1]))).toarray()
1.3 ms ± 29.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [19]:
%%timeit
arr = df.values
rows, row_pos = np.unique(arr[:, 0], return_inverse=True)
cols, col_pos = np.unique(arr[:, 1], return_inverse=True)
pivoted_arr3 = np.zeros((len(rows), len(cols)))
pivoted_arr3[row_pos, col_pos] = arr[:, 2]
112 µs ± 487 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
答案 0 :(得分：1)
所以造成这种情况的原因是Pandas有很多开销。因此，当输入较小时，一个复杂的Pandas方法比一些廉价的numpy方程慢，这应该不足为奇。你不能用这么小的测试来结束任何事情。
那么如果你用一个很好的例子进行测试会发生什么？
pairs = list(itertools.product('abcd', repeat=2))
random.shuffle(pairs)
data = [(x,y,v) for (x,y),v in list(zip(pairs, np.linspace(0,1,len(pairs))))]
df = pd.DataFrame(data, columns=['row','col','value'], index=range(1,len(data)+1))
透视小测试
In [21]:
%%timeit
pivoted_arr1b = df.pivot(index='row', columns='col', values='value').values
1000 loops, best of 3: 1.27 ms per loop
Numpy Small Test
In [22]:
%%timeit
arr = df.values
rows, row_pos = np.unique(arr[:, 0], return_inverse=True)
cols, col_pos = np.unique(arr[:, 1], return_inverse=True)
pivoted_arr3 = np.zeros((len(rows), len(cols)))
pivoted_arr3[row_pos, col_pos] = arr[:, 2]
The slowest run took 4.68 times longer than the fastest. This could mean that an intermediate result is being cached.
10000 loops, best of 3: 120 µs per loop
进行大型测试
In [26]:
pairs = list(itertools.product('qwertyuiopasdfghjklzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM', repeat=2))
random.shuffle(pairs)
data = [(x,y,v) for (x,y),v in list(zip(pairs, np.linspace(0,1,len(pairs))))]
df = pd.DataFrame(data, columns=['row','col','value'], index=range(1,len(data)+1))
转动大型测试
In [27]:
%%timeit
pivoted_arr1b = df.pivot(index='row', columns='col', values='value').values
100 loops, best of 3: 2.03 ms per loop
转动大型测试
In [28]:
%%timeit
arr = df.values
rows, row_pos = np.unique(arr[:, 0], return_inverse=True)
cols, col_pos = np.unique(arr[:, 1], return_inverse=True)
pivoted_arr3 = np.zeros((len(rows), len(cols)))
pivoted_arr3[row_pos, col_pos] = arr[:, 2]
100 loops, best of 3: 2.27 ms per loop
因此，对于一个非常大的测试用例，pandas实际上更快。它不仅速度更快，而且时间复杂度也更好。当行数乘以13时，时间甚至不会加倍。
如果你想在很多小矩阵上应用这个操作，这一切都没有用。但这并不是熊猫真正的目的。