我想创建一个Lambda函数,在Redshift上复制特定S3 Bucket中文件PUT的数据,但我无法想象如何做到这一点。
到目前为止,我创建了一个LAMBDA函数,只要.csv文件在S3存储桶上是PUT就会触发,我设法将数据从本地.csv文件复制到Redshift。
现在,我希望能够帮助您了解如何使用Lambda函数复制数据。我在互联网上搜索过,但无法使用Lambda获得适当的例子。
答案 0 :(得分:0)
解决方法 -
如果您在S3
中放置了任何文件,则Lambda触发器有效使用以下数据管道自动化 -
Flatfile - > S3 - > dynamodb copy comand - Lamdbda执行dynamodb内的脚本 - >在Redshift上加载数据
答案 1 :(得分:0)
我使用powershell从SQL Server导出数据并将其上传到S3存储桶。然后,我有了一个带有S3放置触发器的Lambda函数,该触发器在Redshift中执行一个存储过程,该过程在动态语句中包含复制命令,以便将数据加载到不同的表中,并且每次上载文件时都会触发表多次。