CloudSearch性能频繁更新小批量

时间:2016-05-10 06:43:09

标签: amazon-web-services amazon-cloudsearch

我有一个用例,我需要将小文档批次(每个1KB的典型1到10个文档)上传到CloudSearch。每2或3秒钟上传一个新批次。 CloudSearch docs for bulk uploads说:

  

确保您的批次尽可能接近5 MB的限制。上传大量较小的批次会减慢上传和索引过程的速度。

如果在搜索结果中显示文档之前有30秒的延迟,那就没问题了。随着我的文档数量增加,我的实现是否会正常运行,让我们说500.000个文档?

1 个答案:

答案 0 :(得分:2)

即使您拥有500,000个文档,索引时间也应该远低于您的30秒SLA,无论您是否批准提交内容。

我这是基于我自己的测试,在m1.small实例类型上使用索引为300k docs和38个索引字段,其中文档可搜索的时间不到3秒。有很多变量可能会影响您自己的情况,例如您拥有多少索引字段,实例大小等,但我认为我的设置反映了不利条件(具有复杂索引模式的m1.small实例)并且仍然存在比SLA快一个数量级。这当然是轶事证据,但你应该没事。