AWS Kinesis连接器库

时间:2017-05-15 11:01:37

标签: amazon-web-services amazon-redshift

我正在开发一个实时流应用程序,需要将信息发送到AWS Kinesis流并从那里发送到AWS Redshift。根据我对文档的阅读和理解,以下是将信息从Kinesis Streams推送到Redshift的选项:

  1. Kinesis Streams - > Lambda函数 - >红移
  2. Kinesis Streams - > Lambda函数 - > Kinesis Firehose - >红移
  3. Kinesis Streams - > Kinesis连接器库 - > Redshift(https://github.com/awslabs/amazon-kinesis-connectors
  4. 我发现Kinesis Connector选项是将信息从Streams移动到Redshift的最佳选择。但是,我无法理解我们在哪里部署这个库,这是如何运行的?这是否需要在EC2实例上作为lambda函数或java函数运行。基于自述文件,我无法获得该信息。如果有人成功地使用了连接器,我将非常感激这种见解。

1 个答案:

答案 0 :(得分:4)

如果您正在使用Kinesis Connector Library,那么您希望将其部署在EC2实例上,但在我看来,使用不带连接器库的Lambda函数会更容易和更好。它处理批处理,扩展实例调用和重试。对于Lambda + Kinesis来说,死信队列很快就会到来。

基本上,在Lambda中扩展和处理故障要容易得多。