如何从s3存储桶读取数据到Kinesis Stream

时间:2018-01-08 09:10:22

标签: amazon-web-services amazon-s3 amazon-kinesis

我是Kinesis的新手。我想从s3桶读取数据到Kinesis流。我创建了一个名为'mystream'的kinesis流。在我的项目中,每3个月将一条记录上传到s3。同时我需要读取记录到kinesis流。我创建了Lamda来读取文件并将其保存到RDS数据库实例中。我发现在lambda项目中有一个kinesis事件。这是做事的方式吗?请帮我解决这个问题。我不知道如何开始它和所有......如果有人可以帮助我会很棒......

2 个答案:

答案 0 :(得分:2)

如果我的理解是对的,那么你的问题就是如何将s3对象数据写入kinesis。

您可以在S3中为lambda创建一个事件通知。在事件中,您可以选择事件(ObjectCreate(All),put,post)。成功创建每个对象创建操作后,您将在lambda中收到通知。在lambda事件上下文中,您将获得每次调用的s3对象信息。

现在您可以阅读有关对象信息并将其写入kinesis流中。

使用Java的AWS S3和Kinesis Stream的链接

https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html

https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html

答案 1 :(得分:0)