我正在开发一个实时流应用程序,需要将信息发送到AWS Kinesis流并从那里发送到AWS Redshift。根据我对文档的阅读和理解,以下是将信息从Kinesis Streams推送到Redshift的选项:
我发现Kinesis Connector选项是将信息从Streams移动到Redshift的最佳选择。但是,我无法理解我们在哪里部署这个库,这是如何运行的?这是否需要在EC2实例上作为lambda函数或java函数运行。基于自述文件,我无法获得该信息。如果有人成功地使用了连接器,我将非常感激这种见解。
答案 0 :(得分:4)
如果您正在使用Kinesis Connector Library,那么您希望将其部署在EC2实例上,但在我看来,使用不带连接器库的Lambda函数会更容易和更好。它处理批处理,扩展实例调用和重试。对于Lambda + Kinesis来说,死信队列很快就会到来。
基本上,在Lambda中扩展和处理故障要容易得多。