我正在使用NEST(C#)和ingest attachment plugin将成千上万的文档提取到Elastic搜索实例中。不幸的是,过了一会儿一切都停滞不前-即不再提取任何文档。日志显示:
[2019-02-20T17:35:07,528][INFO ][o.e.m.j.JvmGcMonitorService] [BwAAiDl] [gc][7412] overhead, spent [326ms] collecting in the last [1s]
不确定这是否告诉任何人吗?顺便说一句,有没有更有效的方式来提取许多文档(而不是使用数千个REST请求)?
我正在使用这种代码:
client.Index(new Document
{
Id = Guid.NewGuid(),
Path = somePath,
Content = Convert.ToBase64String(File.ReadAllBytes(somePath))
}, i => i.Pipeline("attachments"));
定义管道:
client.PutPipeline("attachments", p => p
.Description("Document attachment pipeline")
.Processors(pr => pr
.Attachment<Document>(a => a
.Field(f => f.Content)
.TargetField(f => f.Attachment)
)
.Remove<Document>(r => r
.Field(f => f.Content)
)
)
);
答案 0 :(得分:1)
该日志表明,在Elasticsearch服务器端执行垃圾收集花费了大量时间;这很可能是您所看到的大型停止事件的原因。如果您在群集上启用了监视功能(最好将此类数据导出到单独的群集上),那么我将分析这些功能,以了解是否可以了解为什么发生大型GC。
是否有更有效的方式来提取许多文档(而不是使用数千个REST请求)?
是的,您正在为单独的索引请求中的每个附件建立索引。根据base64编码的每个附件的大小,您可能希望在一个批量请求中发送多个附件
// Your collection of documents
var documents = new[]
{
new Document
{
Id = Guid.NewGuid(),
Path = "path",
Content = "content"
},
new Document
{
Id = Guid.NewGuid(),
Path = "path",
Content = "content" // base64 encoded bytes
}
};
var client = new ElasticClient();
var bulkResponse = client.Bulk(b => b
.Pipeline("attachments")
.IndexMany(documents)
);
如果您正在从文件系统中读取文档,则可能要延迟枚举它们并发送批量请求。在这里,您也可以使用BulkAll
辅助方法。
首先有一些惰性枚举的文档集合
public static IEnumerable<Document> GetDocuments()
{
var count = 0;
while (count++ < 20)
{
yield return new Document
{
Id = Guid.NewGuid(),
Path = "path",
Content = "content" // base64 encoded bytes
};
}
}
然后配置BulkAll
调用
var client = new ElasticClient();
// set up the observable configuration
var bulkAllObservable = client.BulkAll(GetDocuments(), ba => ba
.Pipeline("attachments")
.Size(10)
);
var waitHandle = new ManualResetEvent(false);
Exception exception = null;
// set up what to do in response to next bulk call, exception and completion
var bulkAllObserver = new BulkAllObserver(
onNext: response =>
{
// perform some action e.g. incrementing counter
// to indicate how many have been indexed
},
onError: e =>
{
exception = e;
waitHandle.Set();
},
onCompleted: () =>
{
waitHandle.Set();
});
// start the observable process
bulkAllObservable.Subscribe(bulkAllObserver);
// wait for indexing to finish, either forever,
// or set a max timeout as here.
waitHandle.WaitOne(TimeSpan.FromHours(1));
if (exception != null)
throw exception;
大小决定了每个请求中要发送多少个文档。对于群集的大小,没有硬性规定,因为它取决于许多因素,包括摄取管道,文档的映射,文档的字节大小,群集硬件等。您可以配置可以观察到重试未能建立索引的文档,并且如果看到es_rejected_execution_exception
,则表示群集可以同时处理。
另一个建议是文档ID。我看到您正在使用新的Guid作为文档ID,这对我而言意味着您不在乎每个文档的值是什么。如果是这种情况,我建议您不要发送ID值,而应让Elasticsearch为每个文档生成一个ID。这很可能导致improvement in performance (我相信自本文发布以来,Elasticsearch和Lucene的实现已稍作更改,但这一点仍然成立)。。