我是Kinesis的新手。我想从s3桶读取数据到Kinesis流。我创建了一个名为'mystream'的kinesis流。在我的项目中,每3个月将一条记录上传到s3。同时我需要读取记录到kinesis流。我创建了Lamda来读取文件并将其保存到RDS数据库实例中。我发现在lambda项目中有一个kinesis事件。这是做事的方式吗?请帮我解决这个问题。我不知道如何开始它和所有......如果有人可以帮助我会很棒......
答案 0 :(得分:2)
如果我的理解是对的,那么你的问题就是如何将s3对象数据写入kinesis。
您可以在S3中为lambda创建一个事件通知。在事件中,您可以选择事件(ObjectCreate(All),put,post)。成功创建每个对象创建操作后,您将在lambda中收到通知。在lambda事件上下文中,您将获得每次调用的s3对象信息。
现在您可以阅读有关对象信息并将其写入kinesis流中。
使用Java的AWS S3和Kinesis Stream的链接
https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html
https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html
答案 1 :(得分:0)
AWS 建议使用 AWS DMS 将文件从 S3 摄取到 Kinsis。