Question

我在Postgres中有一个约6M行的表，想要将它们拆分并导出为多个CSV文件。有没有办法根据行的列值自动生成不同的CSV文件？

Answer 1

一般情况下，您需要COPY (SELECT ...)。

一种选择是使用PL / PgSQL和EXECUTE。类似的东西：

DO
LANGUAGE plpgsql
$$
DECLARE
    colval integer;
BEGIN
    FOR colval IN SELECT DISTINCT thecol FROM thetable
    LOOP
       EXECUTE format('COPY (SELECT * FROM thetable WHERE colval = %L) TO ''/tmp/out-%s.csv'';', colval, colval);
    END LOOP;
END;
$$

另一种方法是使用psql和\copy编写脚本。

另一种方法是使用您首选的客户端语言及其对COPY的支持，例如PgJDBC的CopyManager，Python + psycopg2的copy_to等。

更新：我刚刚意识到这比这更简单。 ORDER BY目标列，并在处理时拆分文件流。 psql，bash和awk的示例：

CREATE TABLE demo(
  id serial primary key,
  targetcol integer not null
);

-- Create 10 distinct values for targetcol with 100 entries each
insert into demo(targetcol)
select x
from generate_series(1,10) x cross join generate_series(1,100) y;

然后将第2列作为文件名的一部分，将文件切换为输出记录：

psql -At -c '\copy (SELECT * FROM demo ORDER BY targetcol) TO stdout' | \
awk '
  BEGIN {
    prev_col=0;
    cur_file="";
  } 
  {
    if ($2 != prev_col) {
      prev_col = $2;
      if (cur_file != "") {
        close(cur_file);
      }
      cur_file = sprintf("outfile-%d",$2);
      printf "" > cur_file;
    } 
    print $0 >> cur_file; 
  }
';

实际上，如果您不介意它有点慢，并且如果目标列的值很多，可能会耗尽最大打开文件，这甚至不需要排序输入：

psql -At -c '\copy demo TO stdout' | \
awk '
  BEGIN {
    cur_file="";
  } 
  {
    print $0 >> sprintf("outfile-%d",$2); 
  }
';

Answer 2

肯定有几种方法可以做到这一点。我无法想出一种自动在单个命令中执行此操作的方法。我不知道您的操作系统是什么，或者您是否希望在存储过程中执行此操作，或者？如果我要从命令行快速而肮脏地执行此操作，我会：

$ # bash shell here.
$ for i in `psql -Upostgres -h HOSTIP -Atq DBNAME -c 'select distinct COLNAME from TABLENAME'`; do
$   echo 'working on ': $i
$   cmd="select * from TABLENAME where COLNAME = '$i'"
$   psql -Upostgres -h HOSTIP -Atq DBNAME -c "copy ( $cmd ) to stdout with delimiter ','" > /tmp/$i
$ done

您需要提供： HOSTIP（如果默认连接正确，则省略-h HOSTIP） DBNAME数据库中包含数据 TABLENAME具有6MM行的表的名称 COLNAME列的名称，用于指定要将数据复制到

的文件的名称

结果是/ tmp目录中的一堆文件用逗号分隔的表格内容。

这应该会给你一些想法。我想你的问题的答案是否定的，没有自动的＆＃39;办法。祝你好运！

-g

您可以根据列值将Postgres表导出为多个CSV文件吗？

2 个答案: