使用SQLAlchemy Postgres批量上传

时间:2019-03-27 00:41:59

标签: python postgresql sqlalchemy upsert

我正在遵循SQLAlchemy文档here,以使用Postgres编写批量upsert语句。出于演示目的,我有一个简单的表MyTable

class MyTable(base):
    __tablename__ = 'mytable'
    id = Column(types.Integer, primary_key=True)
    test_value = Column(types.Text)

创建通用的插入语句非常简单:

from sqlalchemy.dialects import postgresql

values = [{'id': 0, 'test_value': 'a'}, {'id': 1, 'test_value': 'b'}]
insert_stmt = postgresql.insert(MyTable.__table__).values(values)

我遇到的问题是当我尝试添加upsert的“冲突时”部分。

update_stmt = insert_stmt.on_conflict_do_update(
    index_elements=[MyTable.id],
    set_=dict(data=values)
)

尝试执行此语句会产生一个ProgrammingError

from sqlalchemy import create_engine
engine = create_engine('postgres://localhost/db_name')

engine.execute(update_stmt)

>>> ProgrammingError: (psycopg2.ProgrammingError) can't adapt type 'dict'

我认为我的误解是使用on_conflict_do_update方法构造语句。有人知道如何构造此语句吗?我在StackOverflow上查看了其他问题(例如here),但似乎无法解决上述错误。

1 个答案:

答案 0 :(得分:2)

update_stmt = insert_stmt.on_conflict_do_update(
    index_elements=[MyTable.id],
    set_=dict(data=values)
)

index_elements应该是字符串列表或列对象列表。因此,[MyTable.id]['id'](这是正确的)

set_应该是一列以键名作为键,有效sql更新对象为值的字典。您可以使用excluded属性引用插入块中的值。因此,要获得想要的结果,您将需要set_={'test_value': insert_stmt.excluded.test_value}(您所犯的错误是示例中的data=不是一个魔术参数……这是列上的名称)他们的示例表)

所以,整个事情都会

update_stmt = insert_stmt.on_conflict_do_update(
    index_elements=[MyTable.id],
    set_={'test_value': insert_stmt.excluded.test_value}
)

当然,在一个真实的示例中,我通常想更改多于一列的内容。在那种情况下,我会做类似...

update_columns = {col.name: col for col in insert_stmt.excluded if col.name not in ('id', 'datetime_created')}
update_statement = insert_stmt.on_conflict_do_update(index_elements=['id'], set_=update_columns)

(此示例将覆盖ID和datetime_created列之外的所有列)