Question

我有一个包含541列的DataFrame df，我需要将其所有唯一的列名称保存到单独的DataFrame的行中，每个重复8次。

我以为我会创建一个空的DataFrame fp，通过df的列名进行双循环，插入到每个第8行，并用最后一个可用值填充空白。

当我试图这样做时，虽然我感到困惑的是它花了多长时间。有541列，我只需写146,611次，但它超过20分钟。对于数据访问而言，这似乎是令人震惊的。问题在哪里，我该如何解决？花费较少的时间比Pandas用列生成相关矩阵所以我必须做错事。

这是我的意思的可重复的例子：

fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)

fp = pd.DataFrame(fp)

%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx

# 1 loop, best of 3: 22.3 s per loop

Answer 1

不要做iloc / loc / chained-indexing。单独使用NumPy接口可将速度提高约180倍。如果您进一步删除元素访问权限，我们可以将其设置为180,000x。

fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)

fp = pd.DataFrame(fp)

# this confirms how slow data access is on my computer
%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx

1 loops, best of 3: 3min 9s per loop

# this accesses the underlying NumPy array, so you can directly set the data
%timeit for idx in range(0, len(fp)): fp.values[idx, 0] = idx

1 loops, best of 3: 1.19 s per loop

这是因为在这个扇形索引的Python层中有大量代码，每个循环需要大约10μs。应该使用Pandas索引来检索整个数据子集，然后使用这些子集对整个数据帧进行矢量化操作。单个元素访问是冰冷的：使用Python词典会给你一个＆gt;性能提高180倍。

当你访问列或行而不是单个元素时，事情变得更好：3个数量级更好。

# set all items in 1 go.
%timeit fp[0] = np.arange(146611)
1000 loops, best of 3: 814 µs per loop

<强>道德

请勿尝试通过链式索引loc或iloc访问单个元素。在单个分配中生成NumPy数组，从Python列表（如果性能绝对关键，则为C接口），然后对整个列或数据帧执行操作。

使用NumPy数组并直接在列而不是单个元素上执行操作，我们的性能提升了180,000倍。不是太破旧。

修改

来自@kushy的评论表明，自从我最初撰写此答案以来，Pandas在某些情况下可能会optimized编制索引。始终描述您自己的代码，您的里程可能会有所不同。

Answer 2

Badmax最初的建议是截至2019-10-12最快的建议。在Windows 10的Jupyter Notebook中进行了测试。Pandas版本= 0.24.2

import numpy as np 
import pandas as pd
fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)
fp = pd.DataFrame(fp)
pd.__version__ # '0.24.2'

def func1():
    # Asker badmax solution
    for idx in range(0, len(fp)): 
        fp.iloc[idx, 0] = idx

def func2():
    # Alexander Huszagh solution 1
    for idx in range(0, len(fp)):
        fp.values[idx, 0] = idx

def func3():
    # user4322543 answer to
    # https://stackoverflow.com/questions/34855859/is-there-a-way-in-pandas-to-use-previous-row-value-in-dataframe-apply-when-previ
    new = []
    for idx in range(0, len(fp)):
        new.append(idx)
    fp[0] = new

def func4():
    # Alexander Huszagh solution 2
    fp[0] = np.arange(146611)

%timeit func1
20.4 ns ± 0.698 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
%timeit func2
26.4 ns ± 11.4 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
%timeit func3
21.5 ns ± 0.273 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
%timeit func4
43.4 ns ± 17 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

访问Pandas DataFrame的最快方法是什么？

2 个答案: