Kinesis写给ElasticSearch和S3

时间:2017-06-21 01:50:26

标签: amazon-web-services elasticsearch amazon-s3 amazon-kinesis

我正在使用AWS Kinesis写入Elastic Search并将S3作为备份。所以,它正在写两个来源。但是我发现了一个问题,即它不会像推送到弹性搜索那样同时推向S3。那么,它会定期或类似的吗?任何人都可以给予任何解释将不胜感激。此外,如果是这种情况,有没有办法改变它?

1 个答案:

答案 0 :(得分:1)

我在这里发现了问题。因此,每个Elastic Search和S3都有一个配置,用于定义何时写入它们。检查缓冲区大小和缓冲时间。

在AWS Kinesis FAQ中提到: -

问:什么是缓冲区大小和缓冲区间隔?

Amazon Kinesis Firehose将传入的流数据缓冲到特定大小或一段时间,然后再将其传送到目的地。您可以在创建传送流时配置缓冲区大小和缓冲区间隔。缓冲区大小以MB为单位,对于Amazon S3目标,范围从1MB到128MB,对于Amazon Elasticsearch Service目标,范围从1MB到100MB。缓冲区间隔以秒为单位,范围为60秒至900秒。请注意,在向目的地传输数据的数据落后于数据写入传输流的情况下,Firehose会动态调整缓冲区大小以赶上并确保所有数据都传递到目的地。

来源 - https://aws.amazon.com/kinesis/firehose/faqs/

所以,在我的情况下,设置不同,因此我看到写入S3的延迟。