我需要进一步处理MySQL查询的结果集作为数据帧。 SQL表包含大约200万行和12列(数据大小= 180 MiB)。 我正在运行带有8 GB内存的OS X 10.9。 pandas.read_sql返回数据帧的时间超过20秒是否正常?如何实现pandas.read_csv中的块大小选项?
修改 Python 2.7.6, 大熊猫0.13.1
答案 0 :(得分:1)
Pandas documentation显示,read_sql()
/ read_sql_query()
的读取时间是read_hdf()
的10倍,是read_csv()
的3倍。
read_sql()
现在具有一个块大小的参数(请参见documentation)