将多个.csv文件上传到一个表中到postgres数据库

时间:2020-07-17 10:01:45

标签: python database pandas postgresql sqlalchemy

我有3个每个1GB的csvs文件。所有文件都包含相同的列。我想在我的postresql数据库中以一个表名上传所有3个文件。我当前的代码如下

for file in files:
  df = pd.read_csv(file, iterator = True, chunksize=10000, low_memory=False)
  for chunk in df:
      chunk.to_sql("tablename", engine, if_exists="append")

我不确定这是正确的方法。如果有人可以帮助我,我将感到非常高兴

0 个答案:

没有答案