Question

我正在尝试从Facebook获取大量数据，并在处理它们时将对象添加到数据库中。例如，对于喜欢，我只是将它们作为发布类似的人的ID。但是，当我添加多个时，我会在sqlalchemy中遇到完整性错误，因为主键不是唯一的。

处理此问题的最佳方法是什么？每次我要为数据库添加一个新的类似物时，是否必须进行查询，找出它是否存在，如果它存在则增加其数量，如果不存在，则创建一个新条目？

这看起来不是很多查询吗？您认为最好做什么？

Answer 1

您真的需要针对重载进行优化吗？可能不是，让你使用SQLite。在这种情况下，简单的解决方案要好得多：

class Like(Base):
    __tablename__ = 'Like'
    id = Column(Integer, primary_key=True)
    counter = Column(Integer, nullable=False, default=0)


o = session.merge(Like(id=1))
session.flush()  # Required when it's new record
o.counter = Like.counter+1
session.commit()

检查和插入之间存在竞争条件，但我相信它不会在实践中击败你。

当你真的需要对它进行优化或修复这种竞争条件时，SQLite中有INSERT OR IGNORE以避免检查（还有2个单独的语句被执行）：

clause = Like.__table__.insert(prefixes=['OR IGNORE'],
                               values=dict(id=1, counter=0))
session.execute(clause)
o = session.merge(Like(id=1, counter=Like.counter+1))
session.commit()

最后有一种方法可以使用INSERT OR REPLACE和subselect在单个语句中完成它（在大多数其他数据库中还有其他方法可以做这样的事情，例如MySQL中的ON DUPLICATE KEY），但我怀疑它会给你带来明显的性能提升：

old = session.query(Like.counter).filter_by(id=1).statement.as_scalar()
new = func.ifnull(old, 0) + 1
clause = Like.__table__.insert(prefixes=['OR REPLACE'],
                               values=dict(id=1, counter=new))
session.execute(clause)

SqlAlchemy IntegrityError

1 个答案: