帮助程序扫描失败超过90000个文档?

时间:2016-01-07 16:05:26

标签: python-2.7 elasticsearch scroll limit helpers

由于elasticsearch python模块中的搜索限制,我首先使用滚动来访问超过10000个文档。我没有测试滚动是否有限制,因为它工作正常。但是几天前,由于查询,我收到了超过100000个文档,我的滚动实现开始失败:

  

SearchContextMissingException [找不到id [568]的搜索上下文

我认为我的代码在某种程度上失败了,尽管我看不出问题。但是在googleing时我找到了辅助扫描,我决定使用它,因为它完成了实现滚动的工作而不用担心我的代码有bug。但是当使用大量数据(大约90000)的扫描时,我不断收到上一个错误。以前有人见过同样的行为吗?这是预期的吗?在没有拆分查询的情况下,我是否可以使用任何解决方法来避免此问题?

致以最诚挚的问候,

1 个答案:

答案 0 :(得分:1)

如果您将滚动的大小设置为900000或更大,或者您只是通过调用滚动来循环遍历更多文档,那么是不是很清楚。可能会发生的情况是,在返回滚动之前,处理数据需要花费很长时间。上下文保持默认的时间量,您可以使用scroll参数进行配置,如以下URL中所述:

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html