Question

我正在处理Python中缓慢的MySQL查询的heckuva时间。在我的应用程序的一个方面，“加载数据infile”很快。在另一个区域，选择查询非常慢。

在PhpMyAdmin和Navicat中执行相同的查询（作为第二个测试）产生的响应比Python快〜5倍。

一些笔记......

我切换到MySQLdb作为连接器，我也使用SSCursor。没有性能提升。
数据库已经过优化，索引等。我正在将这个应用程序从PHP / Codeigniter移植到Python，它运行正常（我愚蠢地认为退出PHP有助于加快速度）
PHP / Codeigniter快速执行选择查询。例如，应用程序的一个关键方面在PHP / Codeigniter中需要大约2秒，但在完成任何数据分析之前，在Python中花费10秒钟。

我对数据库的链接非常标准......

dbconn=MySQLdb.connect(host="127.0.0.1",user="*",passwd="*",db="*", cursorclass = MySQLdb.cursors.SSCursor)

非常感谢任何见解/帮助/建议！

更新

在获取/处理结果方面，我尝试了几种方法。初始查询相当标准......

# Run Query
cursor.execute(query)

我删除了这个循环中的所有代码，只是为了确保它不是瓶颈，但事实并非如此。我把虚拟代码放在了原位。整个过程根本没有加快。

db_results = "test"

# Loop Results
for row in cursor:

    a = 0 (this was the dummy code I put in to test)

return db_results

查询结果本身只有501行（大量列）...在Python之外花了0.029秒。比Python中的时间长得多。

该项目与赛马有关。查询在此函数中完成。查询本身很长，但它在Python之外运行良好。我在循环中注释掉了用于测试的代码......还有打印（查询），希望能够解决这个问题。

# Get PPs
def get_pps(race_ids):

# Comma Race List
race_list = ','.join(map(str, race_ids))

# PPs Query
query = ("SELECT raceindex.race_id, entries.entry_id, entries.prognum, runlines.line_id, runlines.track_code, runlines.race_date, runlines.race_number, runlines.horse_name, runlines.line_date, runlines.line_track, runlines.line_race, runlines.surface, runlines.distance, runlines.starters, runlines.race_grade, runlines.post_position, runlines.c1pos, runlines.c1posn, runlines.c1len, runlines.c2pos, runlines.c2posn, runlines.c2len, runlines.c3pos, runlines.c3posn, runlines.c3len, runlines.c4pos, runlines.c4posn, runlines.c4len, runlines.c5pos, runlines.c5posn, runlines.c5len, runlines.finpos, runlines.finposn, runlines.finlen, runlines.dq, runlines.dh, runlines.dqplace, runlines.beyer, runlines.weight, runlines.comment, runlines.long_comment, runlines.odds, runlines.odds_position, runlines.entries, runlines.track_variant, runlines.speed_rating, runlines.sealed_track, runlines.frac1, runlines.frac2, runlines.frac3, runlines.frac4, runlines.frac5, runlines.frac6, runlines.final_time, charts.raceshape "
         "FROM hrdb_raceindex raceindex "
         "INNER JOIN hrdb_runlines runlines ON runlines.race_date = raceindex.race_date AND runlines.track_code = raceindex.track_code AND runlines.race_number = raceindex.race_number "
         "INNER JOIN hrdb_entries entries ON entries.race_date=runlines.race_date AND entries.track_code=runlines.track_code AND  entries.race_number=runlines.race_number AND entries.horse_name=runlines.horse_name "
         "LEFT JOIN hrdb_charts charts ON runlines.line_date = charts.race_date AND runlines.line_track = charts.track_code AND runlines.line_race = charts.race_number "
         "WHERE raceindex.race_id IN (" + race_list  + ") "
         "ORDER BY runlines.line_date DESC;")

print(query)

# Run Query
cursor.execute(query)

# Query Fields
fields = [i[0] for i in cursor.description]

# PPs List
pps = []

# Loop Results
for row in cursor:

    a = 0
    #this_pp = {}

    #for i, value in enumerate(row):
    #    this_pp[fields[i]] = value            

    #pps.append(this_pp)

return pps

最后一点说明......我没有考虑过处理结果的理想方法。我相信一个游标允许结果作为一组字典返回。我还没有达到这一点，因为查询和返回本身是如此缓慢。

Answer 1

你只有501行，看起来你有超过50列。从MySQL传递到Python的总数据量是多少？

501行x 55列=返回27,555个单元格。

如果每个细胞平均只有＃34; 1K将返回接近27MB的数据。

要了解mysql推送的数据量，您可以将其添加到您的查询中：

SHOW SESSION STATUS LIKE "bytes_sent"

您的服务器资源充足吗？内存分配是否配置良好？

我的猜测是，当您使用PHPMyAdmin时，您将获得分页结果。这掩盖了MySQL返回的数据超出服务器可以处理的问题（我不使用Navicat，不确定返回结果的方式）。

也许Python进程受内存限制，当面对这个大的结果集时，它必须向外输出到磁盘以处理结果集。

如果减少调用和/或约束的列数，比如查询LIMIT 10，您的速度会提高吗？

在调用此查询时，您能看到运行Python的服务器是否正在分页到磁盘吗？你能看到为Python分配了什么内存，在这个过程中使用了多少内容，以及分配和使用与PHP版本中相同值的比较？

您可以为受约束的资源分配更多内存吗？

可以减少通过分页或异步加载调用的列数或行数吗？

Answer 2

我知道这已经晚了，但是，我遇到了与mysql和python类似的问题。我的解决方案是使用另一种语言的查询......我使用R来快速地进行查询，在R中做我能做的事情，然后将数据发送到python，如果需要更多的一般编程，尽管R有很多一般目的库也是如此。只是想发布可以帮助有类似问题的人的东西，我知道这一方面解决了问题的核心。

在Python中查询速度慢但在其他地方快速查询

2 个答案: