SQLAlchemy中的多对多查询非常慢

时间:2018-07-01 23:13:14

标签: sql flask sqlalchemy flask-sqlalchemy

我有这个数据库,其中包含3个表格,饼图,人物以及两者之间的连接点。一个馅饼可以做成很多人,一个人可以做成很多馅饼,所以这是一个非常合法的用例。

我要输出的是一张大表,格式如下:

+-------------------------------------------------------
| person_id | person_name | pies
+-------------------------------------------------------
|     1     |    john     | apple, banana, plum, ..
|     2     |    mary     | apple, plum, pineapple, ..
|    ...    |     ...     | ..., ..., ..., ...
|   10000   |    josh     | banana, coconut, ...

我目前正在实现以下目标:

from flask import Flask
from flask_sqlalchemy import SQLAlchemy
import random
import time

app = Flask(__name__)
db = SQLAlchemy(app)

person_to_pie_association_table = db.Table(
    'person_to_pie_association_table',
    db.metadata,
    db.Column('pie_id', db.Integer, db.ForeignKey('pie.id')),
    db.Column('person_id', db.Integer, db.ForeignKey('person.id'))
)

class Person(db.Model):
    __tablename__ = 'person'
    id = db.Column(db.Integer, primary_key=True)
    name = db.Column(db.String)
    age = db.Column(db.Integer)
    pies = db.relationship("Pie", secondary=person_to_pie_association_table, backref="pies")


class Pie(db.Model):
    __tablename__ = 'pie'
    id = db.Column(db.Integer, primary_key=True)
    flavour = db.Column(db.String)
    user_id = db.Column(db.Integer)

db.create_all()

for i in range(1, 10000):
    name = random.choice(['mary', 'mr F', 'harry', 'cathy', 'john']) + str(i)
    person = Person(name=name)
    flavour = random.choice(['banana', 'strawberry', 'apple', 'chocolate']) + str(i)
    pie = Pie(flavour=flavour)
    db.session.add(person)
    db.session.add(pie)
db.session.commit()

pielist = Pie.query.all()

for i in range(1, 10000):
    print(i)
    person = Person.query.get(i)
    person.pies = random.sample(pielist, 5)
    db.session.add(person)
db.session.commit()

persons = Person.query.all()
start = time.time()
for person in persons:
    person.name
middle = time.time()
for person in persons:
    person.pieflavours = ', '.join([pie.flavour for pie in person.pies])
end = time.time()
print(middle - start)  # 0.005s
print(end - middle)  # 38s

但是,它非常慢。我认为这是因为person.pies仅在被引用后才执行,并且执行一个SQL查询,该查询总共进行10.000个查询。我一直在研究SQLAlchemy文档和其他SO问题,但是找不到如何解决此问题的满意答案。

因此,与其先行加入,不如先加入。我也尝试将查询公式如下:Person.query.join(Pie, Person.pies),但结果却相同。

任何建议都值得赞赏!

1 个答案:

答案 0 :(得分:2)

结果发现我毕竟还不够好,将关系的lazy参数设置为'joined'会使字面速度提高1000倍。

    pies = db.relationship("Pie", secondary=person_to_pie_association_table, backref="pies", lazy='joined')