Elastic Search提取附件插件块

时间:2019-02-20 20:28:53

标签: c# elasticsearch nest elastic-stack

我正在使用NEST(C#)和ingest attachment plugin将成千上万的文档提取到Elastic搜索实例中。不幸的是,过了一会儿一切都停滞不前-即不再提取任何文档。日志显示:

[2019-02-20T17:35:07,528][INFO ][o.e.m.j.JvmGcMonitorService] [BwAAiDl] [gc][7412] overhead, spent [326ms] collecting in the last [1s]

不确定这是否告诉任何人吗?顺便说一句,有没有更有效的方式来提取许多文档(而不是使用数千个REST请求)?

我正在使用这种代码:

client.Index(new Document
{
    Id = Guid.NewGuid(),
    Path = somePath,
    Content = Convert.ToBase64String(File.ReadAllBytes(somePath))
}, i => i.Pipeline("attachments"));

定义管道:

client.PutPipeline("attachments", p => p
    .Description("Document attachment pipeline")
    .Processors(pr => pr
        .Attachment<Document>(a => a
        .Field(f => f.Content)
        .TargetField(f => f.Attachment)
        )
        .Remove<Document>(r => r
        .Field(f => f.Content)
        )
    )
);

1 个答案:

答案 0 :(得分:1)

该日志表明,在Elasticsearch服务器端执行垃圾收集花费了大量时间;这很可能是您所看到的大型停止事件的原因。如果您在群集上启用了监视功能(最好将此类数据导出到单独的群集上),那么我将分析这些功能,以了解是否可以了解为什么发生大型GC。

  

是否有更有效的方式来提取许多文档(而不是使用数千个REST请求)?

是的,您正在为单独的索引请求中的每个附件建立索引。根据base64编码的每个附件的大小,您可能希望在一个批量请求中发送多个附件

// Your collection of documents
var documents = new[]
{
    new Document
    {
        Id = Guid.NewGuid(),
        Path = "path",
        Content = "content"
    },
    new Document
    {
        Id = Guid.NewGuid(),
        Path = "path",
        Content = "content" // base64 encoded bytes
    }
};

var client = new ElasticClient();

var bulkResponse = client.Bulk(b => b
    .Pipeline("attachments")
    .IndexMany(documents)
);

如果您正在从文件系统中读取文档,则可能要延迟枚举它们并发送批量请求。在这里,您也可以使用BulkAll辅助方法。

首先有一些惰性枚举的文档集合

public static IEnumerable<Document> GetDocuments()
{
    var count = 0;
    while (count++ < 20)
    {
        yield return new Document
        {
            Id = Guid.NewGuid(),
            Path = "path",
            Content = "content" // base64 encoded bytes
        };
    }
}

然后配置BulkAll调用

var client = new ElasticClient();

// set up the observable configuration
var bulkAllObservable = client.BulkAll(GetDocuments(), ba => ba
    .Pipeline("attachments")
    .Size(10)
);

var waitHandle = new ManualResetEvent(false);

Exception exception = null;

// set up what to do in response to next bulk call, exception and completion
var bulkAllObserver = new BulkAllObserver(
    onNext: response => 
    {
        // perform some action e.g. incrementing counter
        // to indicate how many have been indexed
    },
    onError: e =>
    {
        exception = e;
        waitHandle.Set();
    },
    onCompleted: () =>
    {
        waitHandle.Set();
    });

// start the observable process
bulkAllObservable.Subscribe(bulkAllObserver);

// wait for indexing to finish, either forever,
// or set a max timeout as here.
waitHandle.WaitOne(TimeSpan.FromHours(1));

if (exception != null)
    throw exception;

大小决定了每个请求中要发送多少个文档。对于群集的大小,没有硬性规定,因为它取决于许多因素,包括摄取管道,文档的映射,文档的字节大小,群集硬件等。您可以配置可以观察到重试未能建立索引的文档,并且如果看到es_rejected_execution_exception,则表示群集可以同时处理。

另一个建议是文档ID。我看到您正在使用新的Guid作为文档ID,这对我而言意味着您不在乎每个文档的值是什么。如果是这种情况,我建议您不要发送ID值,而应让Elasticsearch为每个文档生成一个ID。这很可能导致improvement in performance (我相信自本文发布以来,Elasticsearch和Lucene的实现已稍作更改,但这一点仍然成立)。