Question

Amazon Redshift提供了使用“复制”命令从s3对象加载表数据的功能。它们是一种使用复制命令的方法，但也为每个插入的行设置了额外的“col = CONSTANT”。

我想在每个复制的行上设置一个job_id（不在源数据中），我认为必须执行几百万个插入，这样每行都有一个job属性，这是一种耻辱。复制“让我99％的方式有更好的表现。

也许有更聪明的解决方案？

Answer 1

如果希望在单个COPY命令中添加的所有行具有相同的job_id值，则可以将数据复制到临时表中，然后将job_id列添加到该表中，然后将临时表中的所有数据插入到最终表格如下：

CREATE TABLE destination_staging (LIKE destination);
ALTER TABLE destination_staging DROP COLUMN job_id;
COPY destination_staging FROM 's3://data/destination/(...)' (...)
ALTER TABLE destination_staging ADD COLUM job_id INT DEFAULT 42;
INSERT INTO destination SELECT * FROM destination_staging ORDER BY sortkey_column;
DROP TABLE destination_staging;
ANALYZE TABLE destination;
VACUUM destination;

分析和VACUUM不是必需的，但强烈建议更新查询分析器并将所有新数据放入正确的位置。

Answer 2

似乎没有选项可以使用COPY命令本身进行后期/预处理。因此，您最好的选择似乎是对要进入Redshift的COPY文件进行预处理，添加jobid然后将它们加载到Redshift中。

Amazon Redshift如何从s3复制并设置job_id

2 个答案: