我在S3中收到我的源文件,我需要将这些数据加载到redshift。
源S3文件通过Kinesis Firehose填充。
来源:
via Kinesis
Webstreams -------------- > S3
要求:
via Kinesis
Webstreams -------------- > S3 ------> Redshift
我想知道我是否可以使用Kinesis从S3加载到红移。
谢谢&问候, Srivignesh KN
答案 0 :(得分:0)
您可以使用COPY
命令将数据从S3复制到Redshift
更多详情here
答案 1 :(得分:0)
Amazon Kinesis Firehose可以将传入的流数据发送到Amazon S3,Amazon Redshift和Amazon Elasticsearch Service。
请注意,Firehose流与普通的Kinesis流略有不同。它的格式略有不同,完全自动化。它不会接受来自Amazon S3的您的文件,但会创建自己的文件。
答案 2 :(得分:0)
我已按以下方式解决了这个用例。
应用程序将卷曲网关端点并发布记录。
Firehose将成为API网关的终端。
因此,记录将流式传输到S3中间存储桶并加载到红移中。
整个流程如下:
WebStreams -> API Gateway -> Kinesis Firehose -> S3 (Intermediate Bucket) -> Redshift.
谢谢&的问候,
Srivignesh KN