如何使用python提高对sql数据库的写入速度

Question

我正在尝试找到一种使用python将数据推送到sql db的更好方法。我试过了 dataframe.to_sql()方法和cursor.fast_executemany() 但他们似乎并没有提高我正在使用的数据的速度（数据位于csv文件中）。有人建议我可以使用命名元组和生成器来加载数据，速度要比熊猫快得多。

[通常，csv文件的大小至少为1GB，并且推送一个文件大约需要10-17分钟]

我对python的许多概念还很陌生，因此请提出一些方法或至少参考显示任何信息的任何文章。预先感谢

Answer 1

如果您尝试将csv直接插入数据库中（即不对熊猫进行任何处理），则可以在python中使用sqlalchemy来执行“批量插入[参数，文件等]”。另外，我发现读取csv，进行处理，写入csv，然后进行批量插入也是一种选择。

否则，请随意指定更多要完成的操作，在插入数据库之前需要如何处理数据等。