Postgresql 9.1在创建表格期间内存为..选择

时间:2012-08-09 06:40:03

标签: postgresql

我在Ubuntu Linux 11和Postgresql 9.1上。我在dblink上使用CREATE TABLE .. SELECT,并且我得到了一个大约200万行的表

ERROR:  out of memory
DETAIL:  Failed on request of size 432.

所以我从一个数据库中获取整个表的内容,并在另一个数据库(在同一台机器上)中插入(或创建它们)。我正在使用Postgresql的默认值,但是我尝试了pgtune的值以及无效。在插入过程中,我确实看到内存使用率上升,但是在达到我的机器限制之前发生了错误。 ulimit -a说

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 30865
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 30865
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

如果我确实将表创建为...在同一个数据库中选择,那么它可以正常工作。有什么想法吗?

编辑:我尝试调整postgresql.conf中的各种内存设置,但没有帮助。我错过了什么?

1 个答案:

答案 0 :(得分:0)

我的猜测是,中间集只被分配给内存,本身无法实现。您最好的选择是找到解决方法或与dblink人员一起解决此问题。一些可能的解决方法是:

  1. 使用COPY创建csv文件并将其插入数据库。

  2. 将查询分块,一次说出100k行。

  3. 要清楚,我的猜测是dblink通过分配结果集,分配所需内存以及将数据传递给Postgresql来处理事情。有可能这样做可以让请求在dblink模块本身的内存中完全分配时,快速代理请求(并通过网络连接传输)。

    然而对于INSERT ... SELECT,它可能首先在内存中分配整个结果集,然后尝试处理它并立即将其插入表中。

    然而,如果没有详细的代码审查,这是一种直觉(我确实打开了dblink.c并快速扫描了它)。你必须要记住,PostgreSQL同时作为数据库客户端同时作为数据库服务器和数据库服务器本身,因此libpq和后端的内存都会聚集在一起。

    编辑:经过多次审核后,看起来这大概是正确的。 dblink内部使用游标。我的猜测是在插入之前从光标中取出所有内容,这样它就可以立即进行操作。