我需要从S3存储桶加载〜200万个CSV文件到Redshift表。这很容易(只需使用带有通配符或清单文件的COPY
),除了我需要将每个文件的名称合并到结果表中。假设file1.csv
和file2.csv
都包含:
a,b,c
d,e,f
我希望我的桌子有
file1 a b c
file1 d e f
file2 a b c
file2 d e f
有没有办法可以用一个COPY
语句来完成?或者我是否需要遍历文件列表并一次加载/插入一个文件?
我怀疑后一种选择会造成巨大的性能损失......
答案 0 :(得分:4)
目前无法实现。
以下是AWS论坛上的一个简短主题,其中有来自AWS的回复,其中已经创建了一个功能请求"但是"不能在这个"上提供ETA: https://forums.aws.amazon.com/thread.jspa?messageID=590722򐎂
Stack Exchange上已有一个类似的问题: Redshift add column when importing with COPY