Question

我需要一些帮助来理解Python和postgres在单个事务中插入多个数据集时如何处理事务和批量插入。环境：

Windows 7 64位
Python 3.2
Postgresql 9.1
psycopg2

这是我的情景：我正在将数据从一个数据库（oracle）转换为xml字符串，并将该数据插入到新数据库（postgres）中。这是一个大型数据集，所以我正在尝试优化我的一些插入。很多这样的数据我正在考虑库类型对象，所以我有一个库表，然后是我的xml元数据和xml内容的表，这些数据的字段是数据库中的文本类型。我从oracle中提取数据然后我创建了我需要插入的数据的字典。我有3个插入语句，第一个插入使用序列ID在库表中创建一个记录，并且该id对于将xml插入元数据和内容表的下两个查询中的关系是必需的。以下是我所说的一个例子：

for inputKey in libDataDict.keys():
  metaString = libDataDict[inputKey][0]
  contentString = libDataDict[inputKey][1]
  insertLibDataList.append({'objIdent':"%s" % inputKey, 'objName':"%s" % inputKey, objType':libType})
  insertMetadataDataList.append({'objIdent':inputKey,'objMetadata':metaString}) 
  insertContentDataList.append({'objIdent':inputKey, 'objContent':contentString})

dataDict['cmsLibInsert'] = insertLibDataList
dataDict['cmsLibMetadataInsert'] = insertMetadataDataList
dataDict['cmsLibContentInsert'] = insertContentDataList

sqlDict[0] = {'sqlString':"insert into cms_libraries (cms_library_ident, cms_library_name, cms_library_type_id, cms_library_status_id) \
              values (%(objIdent)s, %(objName)s, (select id from cms_library_types where cms_library_type_name = %(objType)s), \
              (select id from cms_library_status where cms_library_status_name = 'active'))", 'data':dataDict['cmsLibInsert']}

sqlDict[1] = {'sqlString':"insert into cms_library_metadata (cms_library_id, cms_library_metadata_data) values \
              ((select id from cms_libraries where cms_library_ident = %(objIdent)s), $$%(objMetadata)s$$)", \
              'data':dataDict['cmsLibMetadataInsert']}

sqlDict[2] = {'sqlString':"insert into cms_library_content (cms_library_id, cms_library_content_data) values \
              ((select id from cms_libraries where cms_library_ident = %(objIdent)s), $$%(objContent)s$$)", \
              'data':dataDict['cmsLibContentInsert']}

bulkLoadData(myConfig['pgConn'], myConfig['pgCursor'], sqlDict)

我遇到的问题是当我运行第一个查询（sqlDict [0]）并且插入一切正常时，只要我在运行下两个之前将其分开并提交。理想情况下，我希望所有这些查询都在同一个事务中，但它失败了，因为它无法从第2和第3个查询的cms_libraries表中找到id。这是我当前的插入代码：

def bulkLoadData(dbConn, dbCursor, sqlDict):
 try:
   libInsertSql = sqlDict.pop(0)
   dbSql = libInsertSql['sqlString']
   data = libInsertSql['data']
   dbCursor.executemany(dbSql, data)
   dbConn.commit()
   for sqlKey in sqlDict:
     dbSql = sqlDict[sqlKey]['sqlString']
     data = sqlDict[sqlKey]['data']
     dbCursor.executemany(dbSql, data)

   dbConn.commit()

以前我将值附加到查询中，然后为每个插入运行查询。当我这样做时，我可以将它全部放在同一个事务中，它会找到生成的id，一切都很好。我不明白为什么当我用executemany（）进行批量插入时它找不到id？有没有办法在同一个事务中执行批量插入和其他两个查询？

我一直在阅读此文档并搜索stackoverflow和互联网，但还没有找到我的问题的答案： pyscopg docs 和postgres的： Postgresql string docs

任何帮助，建议或评论都将不胜感激。谢谢，米奇

Answer 1

这里有两个选择。从外部生成ID（允许您进行批量插入）或从序列生成ID（这意味着您必须执行单个条目插入）。我认为这是非常直接的计算外部ID生成和批量加载（虽然我建议你看看ETL tool而不是手工编写python中的东西）。如果您需要从序列中提取ID，则应考虑服务器端prepared statements。

您的第一个陈述应如下所示：

dbCursor.execute("""
PREPARE cms_lib_insert (bigint, text, text) AS 
INSERT INTO cms_libraries (cms_library_ident, cms_library_name, cms_library_type_id, cms_library_status_id)
VALUES ($1, $2,
    (select id from cms_library_types where cms_library_type_name = $3), 
    (select id from cms_library_status where cms_library_status_name = 'active')
)
RETURNING cms_library.id
""")

你会在启动时运行一次。然后，您将希望在每个条目级别上运行以下EXECUTE语句。

dbCursor.execute("""
EXECUTE cms_lib_insert(%(objIndent)s, %(objName)s, %(objType)s)
""", {'objIndent': 345, 'objName': 'foo', 'objType': 'bar'))
my_new_id = dbCursor.fetchone()[0]

这将返回生成的序列ID。展望未来，我强烈建议你摆脱目前正在尝试抽象数据库通信（你的sqlDict方法）的模式，并采用非常直接的编码模式（聪明是你的敌人，它会使性能更加努力地调整。）

您需要将插件批量处理为适合性能的块大小。这意味着根据您的实际行为调整BLOCK_SIZE。您的代码应如下所示：

BLOCK_SIZE = 500
while not_done:
   dbCursor.begin()
   for junk in irange(BLOCK_SIZE):
       dbCursor.execute("EXECUTE cms_lib_insert(...)")
       cms_lib_id = dbCursor.fetchone()[0]     # you're using this below.
       dbCursor.executemany("EXECUTE metadata_insert(...)")
       dbCursor.executemany("EXECUTE library_insert(...)")
   dbCursor.commit()

如果您需要达到高于此的性能级别，则下一步是构建一个插入处理函数，该函数为依赖表获取行数组。我不建议这样做，因为它很快就会成为维护的噩梦。

使用postgres的Python使用命名变量和批量插入

1 个答案: