标签: amazon-web-services parquet amazon-kinesis amazon-kinesis-firehose
请考虑以下架构(来源here): 为什么我们需要 Kinesis数据流?如果数据通过 Kinesis Data Firehose ,我是否需要担心有关Kinesis Data Stream分片,其缩放等问题?
目标:我希望从一组生产商(例如CDC)将数据与他们的 Glue 目录一起放入镶木地板中的S3。流和API调用)。我本来希望Kinesis(Firehose)处理自动缩放等问题,但是我的理解是,如果Kinesis Data Streams并非如此,那么