在RedShift中将值拆分为多行

时间:2015-04-28 13:39:20

标签: sql amazon-redshift

如何将字段(例如CSV字符串)拆分成多行的问题已经得到解答: Split values over multiple rows

但是,这个问题涉及MSSQL,并且答案使用了没有RedShift等价物的各种功能。

为了完整起见,这是我想做的一个例子:

当前数据:

| Key | Data     |
+-----+----------+
| 1   | 18,20,22 |
| 2   | 17,19    |

必填数据:

| Key | Data     |
+-----+----------+
| 1   | 18       |
| 1   | 20       |
| 1   | 22       |
| 2   | 17       |
| 2   | 19       |

现在,我可以建议对CSV字段中有小数量元素的情况进行讨论:在所有可能的数组位置上使用split_part和union,如下所示:

SELECT Key, split_part(Data, ',', 1) 
FROM mytable
WHERE split_part(Data, ',', 1) != ""
    UNION
SELECT Key, split_part(Data, ',', 2) 
FROM mytable
WHERE split_part(Data, ',', 2) != ""
-- etc. etc.

但是,这显然效率很低,并且不适用于较长的列表。

关于如何做到这一点的更好的想法?

编辑:

关于乘法行还有一个类似的问题:splitting rows in Redshift。但是,我不知道这种方法如何应用于此。

编辑2:

可能重复:Redshift. Convert comma delimited values into rows。但没有什么新东西 - @Masashi Miyazaki的答案与我上面的建议类似,并且遇到了同样的问题。

2 个答案:

答案 0 :(得分:1)

这是Redshift的答案,每行最多可以使用1万个值。

设置测试数据

create table test_data (key varchar(50),data varchar(max));
insert into test_data
    values
      (1,'18,20,22'),
      (2,'17,19')
;

with ten_numbers as (select 1 as num union select 2 union select 3 union select 4 union select 5 union select 6 union select 7 union select 8 union select 9 union select 0)
  , generted_numbers AS
(
    SELECT (1000 * t1.num) + (100 * t2.num) + (10 * t3.num) + t4.num AS gen_num
    FROM ten_numbers AS t1
      JOIN ten_numbers AS t2 ON 1 = 1
      JOIN ten_numbers AS t3 ON 1 = 1
      JOIN ten_numbers AS t4 ON 1 = 1
)
  , splitter AS
(
    SELECT *
    FROM generted_numbers
    WHERE gen_num BETWEEN 1 AND (SELECT max(REGEXP_COUNT(data, '\\,') + 1)
                                 FROM test_data)
)
  , expanded_input AS
(
    SELECT
      key,
      split_part(data, ',', s.gen_num) AS data
    FROM test_data AS td
      JOIN splitter AS s ON 1 = 1
    WHERE split_part(data, ',', s.gen_num) <> ''
)
SELECT * FROM expanded_input
order by key,data;

答案 1 :(得分:-2)

您欢迎使用RDS PostgreSql实例并创建dblink到RedShift。然后你可以在普通的PostgreSQL DB上操作结果集,甚至可以通过相同的dblink将结果放回RedShift。