从mysql选择/加载数据到内存/熊猫的最快方法

时间:2019-12-11 09:06:44

标签: python mysql pandas select fetchall

我有一个应用程序,它执行mysql的密集读取,通常它需要从mysql中读取大量数据(例如,一次约100K行);但是我发现它非常慢,特别是当读到熊猫时。这是我尝试过的:

option-1:纯sql + Sequel =〜 38ms

使用纯sql选择所有100K行

select * FROM thetable

在db工作台(续集)中花费38毫秒;

option-2:MySQLdb connector + fetchall() =〜 1.6秒

option-3:MySQLdb connector + pandas.read_sql(sql, conn) =〜 1.7s

option-3:pymysql connector + pandas.read_sql(sql, conn) =〜 4.3s
看来使用MySQLdb而不是pymysql可以使速度提高3倍,但是我如何才能像纯SQL一样实现性能呢?

0 个答案:

没有答案