如何绕过HTTP请求有效负载的AWS ElasticSearch大小

时间:2018-12-23 23:40:01

标签: amazon-web-services elasticsearch

我有一个带有10MB Maximum Size of HTTP Request Payload的AWS ES实例,并且我需要添加一些记录,这些记录的大小必须超过10MB,所以我想一种方法,使我可以继续填充一个字段已在ES索引内创建,因此我可以在创建数据后继续推送数据(例如更新字段)。

我正在做这样的事情来创造:

curl -XPUT 'https://myinstance.amazonaws.com/index_name/doc_type/<item.id>?pretty' -H 'Content-Type: application/json' -d'
{
    "title": <title>,
    "description": <description with more than 10MB>,
    "date": <mydate>,
    "extra_id": <extra_id>,
}
'

这可能吗?也许继续包含字段,或者更新一个字段,向其中推送更多数据。

1 个答案:

答案 0 :(得分:1)

如果这是一次一次性的数据加载活动,则将实例暂时扩展为m3.xlarge.elasticsearch,以便能够发送10 MB以上的有效负载请求。加载完所有数据后,然后再还原回原始实例类型。

或者,如果您需要定期发送10 MB以上的净荷请求,则将实例大小永久缩放为m3.xlarge.elasticsearch

或拆分数据,以使每个请求<10 MB。