Question

我正在尝试将两个熊猫系列加在一起。第一个系列非常大，有一个MultiIndex。第二个系列的索引是第一个系列索引的一小部分。

    df1 = pd.DataFrame(np.ones((1000,5000)),dtype=int).stack()
    df1 = pd.DataFrame(df1, columns = ['total'])
    df2 = pd.concat([df1.iloc[50:55],df1.iloc[2000:2005]])  # df2 is tiny subset of df1

使用常规的Series.add函数第一次需要大约9秒，后续尝试需要2秒（可能是因为pandas优化了df在内存中的存储方式？）。

    starttime = time.time()
    df1.total.add(df2.total,fill_value=0).sum()
    print "Method 1 took %f seconds" % (time.time() - starttime)

手动迭代行大约是Series.add第一次的2/3，并且在后续尝试时大约是Series.add的1/100。

    starttime = time.time()
    result = df1.total.copy()
    for row_index, row in df2.iterrows():
        result[row_index] += row
    print "Method 2 took %f seconds" % (time.time() - starttime)

当（如此处）索引是MultiIndex时，速度差异尤其明显。

为什么Series.add在这里不能正常工作？有什么建议加快这个？迭代系列的每个元素是否有更有效的替代方法？

另外，如何对数据框进行排序或构造以提高任一方法的性能？第二次运行这些方法中的任何一个都要快得多。我如何第一次获得这种表现？使用sort_index进行排序只能有所帮助。

Answer 1

您不需要循环：

df1.total[df2.index] += df2.total

Answer 2

正如HYRY的回答，在这种情况下更有效的做法是只查看df2索引的小子集。您可以使用稍微更健壮的add函数（可以填充NaN）来执行此操作：

df1.total[df2.index] = (df1.total[df2.index]).add(df2.total, fill_value=0)

虽然这里的语法不是很干......

为了比较一些时间信息，我们可以看到添加速度并没有明显变慢，并且两者都是对你的天真for循环的巨大改进：

In [11]: %%timeit
result = df1.total.copy()
for row_index, row in df2.iterrows():
    result[row_index] += row
100 loops, best of 3: 17.9 ms per loop

In [12]: %timeit df1.total[df2.index] = (df1.total[df2.index]).add(df2.total, fill_value=0)
1000 loops, best of 3: 325 µs per loop

In [13]: %timeit df1.total[df2.index] += df2.total
1000 loops, best of 3: 283 µs per loop

这是一个有趣的问题（我可能会在后面填写），这个相对大小会更快，但在这种极端情况下肯定会有一个巨大的胜利......

要脱离这一点：

如果你正在写一个for循环（在python中）来加速某些事情，你就错了！：）

Answer 3

我认为你的第二个可能在这个特定情况下更快，因为你正在迭代较小的数据集（少量的工作），然后只访问较大数据集的少数组件（由于熊猫开发人员的有效操作）

但是，使用.add方法，pandas必须查看两个索引的整体。

如果df1和df2的长度相同，则第一种方法需要54 ms，但第二种方法需要> 2分钟（在我的机器上，显然是YMMV）。

更快地替代pandas中的Series.add函数

3 个答案:

要脱离这一点：