关于使用pandas inplace关键字参数的指南

时间:2015-12-16 19:08:08

标签: python-2.7 pandas in-place

使用inplace的准则是什么?

例如,

df = df.reset_index()

df.reset_index(inplace=True)

同样但不同?

1 个答案:

答案 0 :(得分:6)

就生成的DataFrame df而言,这两种方法是相同的。不同之处在于(最大)内存使用量,因为就地版本不会创建DataFrame的副本。

考虑这个设置:

import numpy as np
import pandas as pd

def make_data():
    return pd.DataFrame(np.random.rand(1000000, 100))

def func_copy():
    df = make_data()
    df = df.reset_index()

def func_inplace():
    df = make_data()
    df.reset_index(inplace=True)

我们可以使用memory_profile库对内存使用情况执行一些基准测试:

%load_ext memory_profiler

%memit func_copy()
# peak memory: 1602.66 MiB, increment: 1548.66 MiB

%memit func_inplace()
# peak memory: 817.02 MiB, increment: 762.94 MiB

正如预期的那样,就地版本的内存效率更高。

另一方面,当数据大小足够大时(例如在上面的示例中),方法之间的运行时间似乎也存在非平凡的差异:

%timeit func_copy()
1 loops, best of 3: 2.56 s per loop

%timeit func_inplace()
1 loops, best of 3: 1.35 s per loop

这些差异可能会也可能不会很大,具体取决于用例(例如,特殊探索性分析与生产代码),数据大小和可用的硬件资源。通常,尽可能使用就地版本可能是一个好主意,以获得更好的内存和运行时效率。