使用boto为RedShiftCopyActivity创建AWS数据管道

Question

我正在尝试将数据从s3移动到redshift，并希望在redshift中强制执行主键的唯一性。我意识到复制命令本身不能这样做。但是，我注意到通过AWS数据管道提供的RedshiftCopyActivity允许“OVERWRITE_EXISTING”标志，这将允许至少以某种方式强制执行主键。

我想知道是否可以使用boto来实现这个目标，如果有人能指出我这样一个例子。

Answer 1

我认为boto可能能够为RedshiftCopyActivity创建数据管道。

以下是如何将定义放入数据管道的文档。

https://boto3.readthedocs.org/en/latest/reference/services/datapipeline.html#DataPipeline.Client.put_pipeline_definition

以下是RedshiftCopyAcitivty

的定义示例

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-redshift-define-pipeline-cli.html