Question

我在postgres数据库中有一个表（实际上是AWS Redshift），经过一些操作后，该表中的数据需要导出到CSV。举个例子，考虑一个表Test，其中包含A，B，C，D列。

Rcpp::compileAttributes()

其中A，B，C是字符串，D是整数。

此表中的条目表示对于A列，B列，C列，D列的值。

A，B，C之间的关系是等级A> B> C。

我的要求是CSV必须具有与postgres汇总操作相对应的数据。即 CSV示例：

Column A, Column B, Column C, Column D
ValueA1 , ValueB1 , ValueC1 , 1
ValueA1 , ValueB2 , ValueC2 , 2

当前，我的方法是对A，B，C进行分组，并获得D列的总和。在应用程序中进行了层次聚合。我无法一次性获得全部结果（7000万左右），但是如果我使用postgres中的limit和offset来以分页的方式获取数据，那么我最终可能会拆分分层数据，从而导致ValueA在CSV中两次（或多次）被看到。

应用程序是使用Java和JOOQ构建的。数据被发送到前端（使用react构建），并在其中写入CSV。

感谢您提供有关如何完成CSV的任何帮助。

Answer 1

如果我理解正确，那么您希望确保每次发送数据块时，该数据块必须包含列A的任何给定值（存在于该数据块中）的所有行。您可以像下面那样使用DENSE_RANK函数-

SELECT *
FROM (
       SELECT
         ColumnA,
         ColumnB,
         ColumnC,
         dense_rank()
         OVER (
           ORDER BY ColumnA ASC ) AS dr,
         sum(ColumnD)             AS sumD
       FROM SomeTable
       GROUP BY ColumnA,
         ColumnB,
         ColumnC) AS sub_table
WHERE sub_table.dr BETWEEN 1 AND 5

在最后一种情况下，您可以在块中提供所需的记录编号范围（每当ColumnA的值更改时，density_rank（）就会增加）

您可以参考- https://docs.aws.amazon.com/redshift/latest/dg/r_WF_DENSE_RANK.html https://docs.aws.amazon.com/redshift/latest/dg/r_Examples_of_dense_rank_WF.html

为包含大量数据的表生成CSV

1 个答案: