将文件名合并到Redshift COPY中

时间:2015-04-02 19:56:25

标签: sql postgresql amazon-redshift

我需要从S3存储桶加载〜200万个CSV文件到Redshift表。这很容易(只需使用带有通配符或清单文件的COPY),除了我需要将每个文件的名称合并到结果表中。假设file1.csvfile2.csv都包含:

a,b,c
d,e,f

我希望我的桌子有

file1 a b c
file1 d e f
file2 a b c
file2 d e f

有没有办法可以用一个COPY语句来完成?或者我是否需要遍历文件列表并一次加载/插入一个文件?

我怀疑后一种选择会造成巨大的性能损失......

1 个答案:

答案 0 :(得分:4)

目前无法实现。

以下是AWS论坛上的一个简短主题,其中有来自AWS的回复,其中已经创建了一个功能请求"但是"不能在这个"上提供ETA: https://forums.aws.amazon.com/thread.jspa?messageID=590722&#590722

Stack Exchange上已有一个类似的问题: Redshift add column when importing with COPY