使用Kinesis从S3加载到Redshift

时间:2017-05-22 17:44:46

标签: amazon-s3 amazon-kinesis amazon-kinesis-firehose amazon-kinesis-kpl amazon-kinesis-agent

我在S3中收到我的源文件,我需要将这些数据加载到redshift。

源S3文件通过Kinesis Firehose填充。

来源:

                 via Kinesis
     Webstreams -------------- > S3

要求:

                 via Kinesis
     Webstreams -------------- > S3 ------> Redshift

我想知道我是否可以使用Kinesis从S3加载到红移。

谢谢&问候, Srivignesh KN

3 个答案:

答案 0 :(得分:0)

您可以使用COPY命令将数据从S3复制到Redshift

更多详情here

答案 1 :(得分:0)

Amazon Kinesis Firehose可以将传入的流数据发送到Amazon S3,Amazon Redshift和Amazon Elasticsearch Service。

请注意,Firehose流与普通的Kinesis流略有不同。它的格式略有不同,完全自动化。它不会接受来自Amazon S3的您的文件,但会创建自己的文件。

答案 2 :(得分:0)

我已按以下方式解决了这个用例。

  1. 创建了一个API网关端点。
  2. 应用程序将卷曲网关端点并发布记录。

    1. Firehose将成为API网关的终端。

    2. 因此,记录将流式传输到S3中间存储桶并加载到红移中。

    3. 整个流程如下:

      WebStreams -> API Gateway -> Kinesis Firehose -> S3 (Intermediate Bucket) -> Redshift.
      

      谢谢&的问候,

      Srivignesh KN