我看到以下API将在Elasticsearch中进行查询删除 - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-delete-by-query.html
但我想对弹性搜索批量API做同样的事情,即使我可以使用批量上传文档
es.bulk(body=json_batch)
我不确定如何使用python批量API进行弹性搜索来调用查询删除。
答案 0 :(得分:7)
看看elasticsearch如何弃用查询API删除。我使用绑定创建this python script来做同样的事情。 首先定义ES连接:
import elasticsearch
es = elasticsearch.Elasticsearch(['localhost'])
现在,您可以使用它来为要删除的结果创建查询。
search=es.search(
q='The Query to ES.',
index="*logstash-*",
size=10,
search_type="scan",
scroll='5m',
)
现在您可以循环滚动该查询。在我们这样做时生成我们的请求。
while True:
try:
# Git the next page of results.
scroll=es.scroll( scroll_id=search['_scroll_id'], scroll='5m', )
# Since scroll throws an error catch it and break the loop.
except elasticsearch.exceptions.NotFoundError:
break
# We have results initialize the bulk variable.
bulk = ""
for result in scroll['hits']['hits']:
bulk = bulk + '{ "delete" : { "_index" : "' + str(result['_index']) + '", "_type" : "' + str(result['_type']) + '", "_id" : "' + str(result['_id']) + '" } }\n'
# Finally do the deleting.
es.bulk( body=bulk )
要使用批量api,您需要确保两件事:
答案 1 :(得分:4)
elasticsearch-py
批量API允许您通过在每条记录中添加'_op_type': 'delete'
来批量删除记录。但是,如果要逐个删除,则仍需要进行两个查询:一个用于获取要删除的记录,另一个用于删除它们。
批量执行此操作的最简单方法是使用python模块的scan()
帮助程序,它包装ElasticSearch Scroll API,因此您无需跟踪_scroll_id
秒。将其与bulk()
帮助程序一起使用,以替换已弃用的delete_by_query()
:
from elasticsearch.helpers import bulk, scan
bulk_deletes = []
for result in scan(es,
query=es_query_body, # same as the search() body parameter
index=ES_INDEX,
doc_type=ES_DOC,
_source=False,
track_scores=False,
scroll='5m'):
result['_op_type'] = 'delete'
bulk_deletes.append(result)
bulk(elasticsearch, bulk_deletes)
由于传递_source=False
,因此不会返回文档正文,因此每个结果都非常小。但是,如果你有内存限制,你可以很容易地批量处理:
BATCH_SIZE = 100000
i = 0
bulk_deletes = []
for result in scan(...):
if i == BATCH_SIZE:
bulk(elasticsearch, bulk_deletes)
bulk_deletes = []
i = 0
result['_op_type'] = 'delete'
bulk_deletes.append(result)
i += 1
bulk(elasticsearch, bulk_deletes)
答案 2 :(得分:4)
我目前正在使用基于@drs响应的此脚本,但始终使用bulk()帮助程序。它可以使用chunk_size
参数从迭代器创建批量作业(默认为500,有关详细信息,请参阅straming_bulk())。
from elasticsearch import Elasticsearch
from elasticsearch.helpers import scan, bulk
BULK_SIZE = 1000
def stream_items(es, query):
for e in scan(es,
query=query,
index=ES_INDEX,
doc_type=ES_DOCTYPE,
scroll='1m',
_source=False):
# There exists a parameter to avoid this del statement (`track_source`) but at my version it doesn't exists.
del e['_score']
e['_op_type'] = 'delete'
yield e
es = Elasticsearch(host='localhost')
bulk(es, stream_items(es, query), chunk_size=BULK_SIZE)
答案 3 :(得分:1)
谢谢,这真的很有用!
我有两点建议:
使用滚动获取结果的下一页时,es.scroll(scroll_id=search['_scroll_id'])
应为最后一次滚动中返回的_scroll_id
,而不是搜索返回的内容。 Elasticsearch不会每次更新滚动ID,特别是对于较小的请求(请参阅this discussion),因此此代码可能有效,但它并非万无一失。
清除卷轴很重要,因为长时间保持搜索环境是开放的,需要付出代价。 Clear Scroll API - Elasticsearch API documentation他们将在超时后最终关闭,但如果你的磁盘空间不足,那么它可以为你节省很多麻烦。
一种简单的方法是随时随地构建滚动ID列表(确保删除重复项!),并最终清除所有内容。
es.clear_scroll(scroll_id=scroll_id_list)