无法使用python从数据库中选择一千万行

时间:2014-02-14 16:40:48

标签: python postgresql pyodbc

我目前正在尝试使用python库pyodbc加载一千万行数据。请考虑以下示例,其中customer表有超过一千万行,请注意jeetl:

results = jeetl.dw_command_cursor("select * from Customer")

如果我将它限制在一百万行但是在十面上面不平整,上述工作正常,是否有解决方法? 这是我一直看到的错误信息:

pyodbc.Error: ('08S01', '[08S01] Communication error while getting a tuple;\nCommunication    error while getting a tuple (26) (SQLExecDirectW)')

提前致谢

1 个答案:

答案 0 :(得分:1)

也许您的查询结果太大,请尝试检查max_allowed_pa​​cket_size。 例如在mysql中:https://dev.mysql.com/doc/refman/5.5/en/packet-too-large.html

也许您需要做的是分页结果: http://www.petefreitag.com/item/451.cfm