使用LAMBDA将csv数据复制到Redshift中

时间:2017-06-28 08:12:09

标签: amazon-web-services amazon-s3 aws-lambda amazon-redshift

我想创建一个Lambda函数,在Redshift上复制特定S3 Bucket中文件PUT的数据,但我无法想象如何做到这一点。

到目前为止,我创建了一个LAMBDA函数,只要.csv文件在S3存储桶上是PUT就会触发,我设法将数据从本地.csv文件复制到Redshift。

现在,我希望能够帮助您了解如何使用Lambda函数复制数据。我在互联网上搜索过,但无法使用Lambda获得适当的例子。

2 个答案:

答案 0 :(得分:0)

解决方法 -

如果您在S3

中放置了任何文件,则Lambda触发器有效

使用以下数据管道自动化 -

Flatfile - > S3 - > dynamodb copy comand - Lamdbda执行dynamodb内的脚本 - >在Redshift上加载数据

答案 1 :(得分:0)

我使用powershell从SQL Server导出数据并将其上传到S3存储桶。然后,我有了一个带有S3放置触发器的Lambda函数,该触发器在Redshift中执行一个存储过程,该过程在动态语句中包含复制命令,以便将数据加载到不同的表中,并且每次上载文件时都会触发表多次。