Question

了解长期运行 Elasticsearch请求何时完成的最佳方法是什么？

今天，我有一个过程可以定期从AWS托管ES中清除约10万个文档，而该ES总共包含约6000万个文档。

var settings = new ConnectionSettings(new Uri("https://mycompany.es.aws.com"));
settings.RequestTimeout(TimeSpan.FromMinutes(3)); // not sure this helps

var client = new ElasticClient(settings);

var request = new DeleteByQueryRequest("MyIndex") { ... };

// this call will return an IsValid = true, httpstatus = 504 after ~60s,
var response = await client.DeleteByQueryAsync(request);

即使将超时设置为3分钟，该呼叫也总是在约60秒内返回，并带有空响应和504状态代码。尽管通过Kibana，我可以看到删除操作在接下来的几分钟内继续（并正确完成）。

是否有更好的方法来请求和监视（等待完成）长时间运行的ES请求？

更新

基于Simon Lang的响应，我更新了代码以使用ES任务。最终的解决方案看起来像这样……

var settings = new ConnectionSettings(new Uri("https://mycompany.es.aws.com"));
settings.RequestTimeout(TimeSpan.FromMinutes(3)); // not sure this helps

var client = new ElasticClient(settings);

var request = new DeleteByQueryRequest("MyIndex") 
{
  Query = ...,
  WaitForCompletion = false
};

var response = await client.DeleteByQueryAsync(request);

if (response.IsValid)
{
  var taskCompleted = false;
  while (!taskCompleted)
  {
    var taskResponse = await client.GetTaskAsync(response.Task);
    taskCompleted = taskResponse.Completed;

    if (!taskCompleted)
    {
      await Task.Delay(5000);
    }
  }
}

Answer 1

这不是嵌套-弹性问题，嵌套查询中的默认超时为0（无超时）。

您从亚马逊服务器超时（默认为60秒）

https://docs.aws.amazon.com/elasticloadbalancing/latest/classic/ts-elb-error-message.html

此链接说明了您需要了解的所有内容：）

Answer 2

我同意@LeBigCat所说的超时来自AWS，这不是一个NEST问题。

但是要解决您的问题： _delete_by_query请求支持wait_for_completion参数。如果将其设置为true，则请求将立即返回并带有任务ID。然后，您可以通过任务api请求任务状态。

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-delete-by-query.html

Answer 3

关于@Simon Lang 的回答，_update_by_query api 也是如此。不熟悉_tasks api的可以在Kibana中查询自己的任务。由查询更新或删除返回的字符串将采用以下形式：

{
   "tasks" : "nodeId:taskId"
}

并且您可以在 Kibana 中使用此命令查看任务的状态：

GET _tasks/nodeId:taskId

Elasticsearch：等待长时间运行的请求完成

3 个答案: