Question

继续进入我的previous post 我正在尝试使用bulk_save_objects作为对象列表（这些对象没有PK值，因此应该为每个对象创建它）。当我使用bulk_save_objects时，我看到每个对象插入一个，而不是所有对象插入一个。

代码：

class Product(Base):

    __tablename__ = 'products'
    id = Column('id',BIGINT, primary_key=True)
    barcode = Column('barcode' ,BIGINT)
    productName = Column('name', TEXT,nullable=False)
    objectHash=Column('objectHash',TEXT,unique=True,nullable=False)

    def __init__(self, productData,picture=None):
        self.barcode = productData[ProductTagsEnum.barcode.value]
        self.productName = productData[ProductTagsEnum.productName.value]
        self.objectHash = md5((str(self.barcode)+self.produtName).encode('utf-8')).hexdigest()

另一个类包含以下保存方法：

def saveNewProducts(self,products):
    Session = sessionmaker()
    session=Session()
    productsHashes=[ product.objectHash for product in products]
    query = session.query(Product.objectHash).filter(Product.objectHash.in_(productsHashes))
    existedHashes=query.all()
    newProducts = [ product for product in products if product.objectHash not in productsHashes]
    /*also tried : session.bulk_save_objects(newProducts, preserve_order=False)*/

    session.bulk_save_objects(newProducts)

更新1

我遵循@IljaEverilä在评论中的建议，我在连接字符串中添加了一些参数：

 engine = create_engine('postgresql://postgres:123@localhost:5432/mydb', pool_size=25, max_overflow=0,
                           executemany_mode='values',
                           executemany_values_page_size=10000, executemany_batch_page_size=500,
                           echo=True)

在控制台中，我看到了多个具有以下格式的插入：

2019-09-16 16:48:46,509 INFO sqlalchemy.engine.base.Engine INSERT INTO products (barcode, productName, objectHash) VALUES (%(barcode)s, %(productName)s, %(objectHash)s, ) RETURNING products.id
2019-09-16 16:48:46,509 INFO sqlalchemy.engine.base.Engine {'barcode': '5008251', 'productName': 'ice ream','object_hash': 'b2752233ec523f2e874dc95b70020ae5'}

Answer 1

在我的情况下，我使用的解决方案是：删除id列，并将objectHash设置为PK，然后，save_bulk和add_all函数起作用并且实际上进行了批量插入。看来这些功能只有在对象内部已经有pk的情况下才起作用。

python sqlalchemy bulk_save_objects不使用批量

1 个答案: