如何使用slqalchemy和mysql加快将具有400万行的数据帧插入表中

时间:2018-08-22 22:08:27

标签: mysql pandas sqlalchemy

我有一个具有400万行的数据帧,我使用to_sql将其插入到一个存在的表中,但是完成插入需要大约2个小时,有没有一种方法可以加速?

我使用这种方法:

import pandas as pd
from sqlalchemy import create_engine, types

def _execute_insert(self, conn, keys, data_iter):
    data = [dict((k,v) for k, v in zip(keys, row)) for row in data_iter]
    conn.execute(self.insert_statement().values(data))
    df.to_sql(raw_table_name[i], con=db, index=False, if_exists='append',chunksize=50000)

Method website

有没有办法加快速度?

0 个答案:

没有答案