lambda c＃function timeout在elasticsearch中插入记录

Question

我必须使用lambda函数在elasticsearch中插入一百万条记录。但是，我有这个超时问题...查询超过5分钟，这是运行lambda的限制。我只插入800.000。我已经在lambda的配置中增加了内存和进程的所有参数。

你看到了什么解决方案？

Answer 1

我的声誉只是为了发表评论，但很难给出答案。

将您的记录分成较小的块。并在每个块上做一个lambda。

例如，如果您的记录存储在列表中，则可以使用LinQ执行以下操作。

var records = getRecords()

// while there are still records to process
While( records.count > 0){

// get first 100 items in list.
var chunk = records.take(100) 

// remove items from 0 to 99 - so the first 100
records.removeRange(0,99) 

lambdafunction(chunk) // do lambda on chunk
}