ElasticSearch [6.5]获取多个记录执行时间问题

时间:2018-12-25 11:57:38

标签: elasticsearch

我正尝试使用弹性搜索的Java高级客户端从弹性搜索中获取约250万条记录。使用滚动API花费所有时间(基于记录数为15至22分钟)来获取所有记录,因为它在一个请求中只能获取10,000条记录。我也尝试了切片滚动,但是比普通滚动花费更多的时间。以下是我对切片滚动API的假设:

  1. 我将滚动请求分为五个部分。它将创建5个请求。
  2. 我在不同的线程中发送了5个请求。
  3. 因为每个切片滚动请求都是一个单独的请求。我猜对于每个切片的滚动请求,它首先获取所有记录(250万条),然后过滤掉属于该特定切片的记录。 这会导致更多时间。

谁能告诉我更有效的方式来获取所有记录。

0 个答案:

没有答案