加入大Postgres表的pandas数据框?

时间:2019-11-12 15:26:33

标签: python pandas postgresql

我有一个大约12,000行的pandas数据框,和一个大约800万行的Postgres表。

我想对Postgres表在熊猫数据框上进行左联接。

我可以想到的三种方式:

  1. 将完整的Postgres表加载到pandas数据框中,然后pd.merge将这两个数据框中加载。缺点:笔记本电脑的使用时间长达800万行,占用大量内存。
  2. 将pandas数据框转换为临时Postgres表,使用psycopg2在Postgres中运行联接,将结果捕获到数据框,然后删除临时表。缺点:笨拙。
  3. 逐行遍历pandas数据帧,分别查询和写入每一行。缺点:not very pandas-y,这有可能吗?

我倾向于(2),但是还有其他我没想到的方法,还是我应该考虑的其他优点/缺点?

0 个答案:

没有答案