我有一个具有400万行的数据帧,我使用to_sql将其插入到一个存在的表中,但是完成插入需要大约2个小时,有没有一种方法可以加速?
我使用这种方法:
import pandas as pd
from sqlalchemy import create_engine, types
def _execute_insert(self, conn, keys, data_iter):
data = [dict((k,v) for k, v in zip(keys, row)) for row in data_iter]
conn.execute(self.insert_statement().values(data))
df.to_sql(raw_table_name[i], con=db, index=False, if_exists='append',chunksize=50000)
有没有办法加快速度?