使用php将数据从S3复制到redshift

Question

如何将CSV文件从S3存储桶复制到Redshift并避免重复行？ 我已阅读有关复制命令但未找到任何有关通过PHP SDK使用它的文档。

Answer 1

PHP SDK旨在运行管理任务（与Web控制台相同）。

为了加载数据，只需使用PostgreSQL连接器连接数据库并运行COPY查询。

避免重复行是另一个问题 - 目前redshift不强制执行UNIQUE约束，因此源文件中存在的任何行都将添加到目标表中（即使已存在相同的UNIQUE值）。

文档提供了一些提示，说明如何只导入新行，如：

1. 将数据复制到temp_table;

2. 仅插入新数据：

INSERT INTO dest_table (
  SELECT * from temp_table
  WHERE key NOT IN (
    SELECT key FROM dest_table
  )
)