如何从Kinesis批量复制数据 - ＆gt;红移

Question

当我读到关于AWS数据管道的想法时，这个想法立刻就出现了 - 为kinesis生成统计数据并在管道中创建一个将消耗kinesis数据并将其复制到每小时红移的工作。一气呵成。

但似乎管道中没有可以消耗运动的节点。所以现在我有两个可能的行动计划：

1. 创建实例，其中Kinesis的数据将被消耗并以小时为单位发送给S3。 Pipeline将从那里复制到Redshift。
2. 从Kinesis消费并当场直接向Redshift出示COPY。

我该怎么办？如果没有自定义代码，是否无法使用AWS服务将Kinesis连接到红移？

Answer 1

现在可以通过名为Kinesis Firehose的新托管服务在没有用户代码的情况下这样做。它管理所需的缓冲间隔，临时上传到s3，上传到Redshift，错误处理和自动吞吐量管理。

Answer 2

这已经为你完成了！ 如果您使用Kinesis连接器库，则有一个Redshift的内置连接器

https://github.com/awslabs/amazon-kinesis-connectors

根据逻辑，您必须处理连接器非常容易实现。

Answer 3

您可以使用InstantStack创建和编排完整的管道，以便从Kinesis读取数据，对其进行转换并将其推送到任何Redshift或S3中。