pandas.read_sql处理速度

时间:2014-04-04 23:02:56

标签: python pandas

我需要进一步处理MySQL查询的结果集作为数据帧。 SQL表包含大约200万行和12列(数据大小= 180 MiB)。 我正在运行带有8 GB内存的OS X 10.9。 pandas.read_sql返回数据帧的时间超过20秒是否正常?如何实现pandas.read_csv中的块大小选项?

修改 Python 2.7.6, 大熊猫0.13.1

1 个答案:

答案 0 :(得分:1)

Pandas documentation显示,read_sql() / read_sql_query()的读取时间是read_hdf()的10倍,是read_csv()的3倍。

read_sql()现在具有一个块大小的参数(请参见documentation