Question

描述

在读取大型csv文件（数百万行混合数据）时，我使用pandas'converters方法的read_csv参数方便地传递将字符串转换为datetime对象等的函数。

但是，与手动转换相应的列相比，使用converter参数非常慢。

示例代码

为了说明，我们使用3种不同的方法将字符串转换为datetime对象：

转换器参数
parse_dates / date_parser parameters
加载csv后手动

注意，从字符串到datetime的转换在这里是任意的。这可以用其他函数替换（除了没有特定的parse_dates / date_parser参数）。

import pandas as pd # 0.19.2 with python 3.5

# create dummy data
rows = 100000
data = {"dates": pd.date_range("2017-02-27 20:44:23", periods=rows, freq="S")}

# save as temporary file for timeit
pd.DataFrame(data).to_csv("dummy")

# define converters
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

现在，让我们看一下timeit（Ipython）比较：

%%timeit
df = pd.read_csv("dummy", converters={"dates": convert_datetime})
# 1 loop, best of 3: 7.76 s per loop

%%timeit
df = pd.read_csv("dummy", parse_dates=["dates"], date_parser=convert_datetime)
# 10 loops, best of 3: 125 ms per loop

%%timeit
df = pd.read_csv("dummy")
df["dates"] = convert_datetime(df["dates"])
# 10 loops, best of 3: 129 ms per loop

结果

转换器的版本比其他版本慢大约60倍。为了更好地理解这一点，我将convert_datetime函数包装成一个小的装饰器类来计算调用次数：

class Counter:
   def __init__(self, func):
       self.func = func
       self.count = 0

   def __call__(self, *args, **kwargs):
       self.count += 1
       return self.func(*args, **kwargs)

@Counter
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

它显示使用converter'参数为每个值调用convert_datetime函数，而其他版本只调用一次转换器函数。这解释了性能不足。

问题

为什么？我希望传递给转换器参数的矢量化函数能够同时对所有值执行，而不是分别对每个值执行。

Answer 1

来自read_csv的文档（强调我的），

converters：dict，默认无


在某些列中转换值的函数的字典。键可以是整数或列标签

converters关键字参数的想法是提供对各个值而不是整个列起作用的函数。通过重新定义转换器功能可以看出这一点

def convert_datetime(val):
    return datetime.datetime.strptime(val, "%Y-%m-%d %H:%M:%S")

%timeit pd.read_csv("dummy", converters={"dates": convert_datetime})
1 loop, best of 3: 2.81 s per loop

正如您可以想象的那样，这相当于许多Python函数调用。

至于为什么转换器参数不接受矢量化函数，我的最佳猜测将是它们提供的灵活性比当前实现少一些。我的想法是你可以解析必要的日期列等，这可能需要一些带有矢量化parse_dates，date_parser的解析逻辑，并且大多数列操作可能是用矢量化方法完成后读。

换句话说，能够解析以不同类型（如日期时间）结束的元素，可以方便地在read_csv中使用矢量化方法。除此之外，converters只是一个方便的参数，可以灵活地对各个值进行操作 - 因为进一步的矢量化方法只能在后读取后完成。

pandas read_csv转换器性能问题

描述

示例代码

结果

问题

1 个答案: