AWS Kinesis 分段上传到 Amazon S3 存储桶

时间:2021-06-02 15:42:21

标签: amazon-web-services amazon-s3 amazon-kinesis amazon-kinesis-analytics

我想从 Kinesis 分段上传到我的 Amazon S3 存储桶。由于 Amazon S3 是一个文件系统,对于每个条目,它都会在给定的存储桶名称下创建一个文件。

我的 Amazon S3 提供 AWS 粘合作业,因为它会在 Amazon S3 中的特定文件夹中有新文件时触发 Lambda 函数。对于流数据,每秒将有多个文件。

如何在 Kinesis 端控制文件的大小,以便 Kinesis 在达到特定阈值后才将数据推送到 Amazon S3 存储桶上?这样我就可以在达到那个大小时触发我的工作。

1 个答案:

答案 0 :(得分:0)

您可以使用 AWS Glue Triggers 代替 lambda。

例如,为 Glue 设置 cron 时间。