压缩StringIO数据以使用pandas读取?

时间:2016-10-18 15:24:16

标签: pandas psycopg2

我一直在使用pandas pd.read_sql_query每天将大量数据读入内存以便处理它(向大约1GB的数据添加列,计算等)。这导致我的计算机冻结了几次,但今天我尝试使用psql创建.csv文件。然后我压缩了该文件(.xz)并用pandas读取它。

总的来说,它更顺畅,让我想到了自动化过程。是否可以替换保存.csv.xz文件,而是将数据直接复制到内存中,同时仍然压缩它(理想情况下)?

    buf = StringIO()

    from_curs = from_conn.cursor()
    from_curs.copy_expert("COPY table where row_date = '2016-10-17' TO STDOUT WITH CSV HEADER", buf)
(is it possible to compress this?)
    buf.seek(0)

(用pandas读取buf来处理它)

0 个答案:

没有答案