Question

我正在使用之前从另一个数据库中选择的~11.000.000行填充PostgreSQL表。我正在使用Python和psycopg2。整个过程大约需要1.5小时才能完成。但是，大约30分钟后我得到“连接意外关闭”异常。源代码如下所示：

incursor = indb.cursor()
incursor.execute("SELECT ...")
indb.commit() # (1) close transaction
outcursor = outdb.cursor()
rows = 0
for (col1, col2, col3) in incursor: # incursor contains ~11.000.000 rows
    outcursor.execute("INSERT ...", (col1, col2, col3)) # This fails after ~30 minutes
    row += 1
    if row % 100 == 0: # (2) Write data every 100 rows
         outcursor.close()
         outdb.commit()
         outcursor = outdb.cursor()
incursor.close()
outcursor.close()
outdb.commit()

我在第一次尝试失败后插入(1)和(2)，假设开放事务的上限时间约为30分钟，或者游标有挂起插入的上限。似乎这些假设都不是真的，错误就在其他地方。

两个数据库都存储在我通过端口转发从主机连接的VirtualBox机器上。我在主机上运行程序。

这两个数据库仅用于测试目的，并且没有其他管理连接。也许我必须重写问题以解决这个问题，但我需要在其他地方非常耗时的插入（大约运行几天）所以我非常担心psycopg2或PostgreSQL中的一些隐藏时间限制。

Answer 1

我不知道postgresql本身有任何这样的“隐藏”超时。 PostgreSQL确实有statement_timeout，但如果你点击它，你应该在服务器日志中得到一个ERROR: canceling statement due to statement timeout（它也会记录被取消的语句）。我不能说psycopg2。绝对检查服务器日志中是否有任何看起来相关的内容。

也许这是一个网络问题？长时间运行的语句将是长时间保持空闲的TCP连接。也许您的端口转发会清除闲置超过30分钟的连接？也许你的TCP连接没有使用keepalive。 Postgresql有一些调整TCP keepalive（tcp_keepalives_interval等）的设置，你可能还需要做一些内核/网络配置，以确保它们实际启用。

e.g。我刚尝试连接到我自己的机器，tcp_keepalives_interval默认为7200，即2小时。如果您的端口转发在30分钟后中断，则此默认设置不起作用。您可以覆盖客户端连接字符串中使用的设置（假设您可以直接旋转conninfo字符串），或者在用户/数据库属性或postgresql.conf中设置GUC变量。

请参阅：

http://www.postgresql.org/docs/9.0/static/runtime-config-connection.html - 服务器设置
http://www.postgresql.org/docs/9.0/static/libpq-connect.html - 客户端连接字符串设置

Answer 2

要插入数百万行，我会查看官方guide以填充数据库并考虑使用copy。

Answer 3

我有一个django管理员命令，可以更新数千行。过了一段时间，我看到同样的错误。我相信内存使用量超出限制。但是，不知道如何在命令中手动控制事务。

执行大插入时，PostgreSQL连接意外关闭

3 个答案: