Question

我正在寻找一种方法来提高我的Elasticsearch数据的滚动扫描速度。
以下python代码扫描多个索引，并将结果喷出以进行控制台和放置在某处的文件中。
我的测试得出的结论是，这种方法效率极低，并且需要花费大量时间（10个事件/秒？）。我猜这是由一些内部默认值或限制引起的。
我有办法设计它以获得更好的性能吗？

from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search, Q

client = Elasticsearch(
    [
        'http://localhost:9201/',
    ],
    verify_certs=True
)

search = Search(using=client, index="test1,test2,test3") \
    .filter(Q("wildcard", name="bob*") & Q("term", color="green")) \
    .filter('range', **{'@timestamp':{'gte': 'now-2d', 'lt': 'now'}}) \
    .sort('@timestamp') \
    .params(preserve_order=True)



file = open("X:/files/people.txt", "a")
for hit in search.scan():
    line = (hit.message + "\n")
    file.write(line)
    print(line)

file.close()

感谢您对此进行调查：）

Answer 1

旧问题，但可能会帮助其他人：

要尝试的另外两件事是调整size，找到适合您的环境的最佳值。另外，如果您不需要完整的_source，请尝试使用_source_exclude或_source_include消除字段，我发现使用这些字段可以显着提高性能。

Answer 2

使其更快的最佳方法是删除sort和preserve_order参数。您也可以查看切片滚动以使用multiprocessing并行运行多个扫描，您可以在（0）看到一个示例。希望这会有所帮助！

0-https://github.com/elastic/elasticsearch-dsl-py/issues/817#issuecomment-372271460

加快Elasticsearch-py扫描的速度

2 个答案: