我最近同时询问了关于大量连接的问题,我得到的一个建议是我应该使用BATCH操作。谢谢你,它帮助了很多。
现在我有奇怪的情况,我知道什么是错误意味着什么导致它,但我不知道在我的情况下会发生什么。
所以我有2000个实体,我将它们分成500块(我知道我可以拆分1000块甚至更多但是现在我坚持500块)
然后我继续将它们创建为4个批处理操作,与我之前打开2000个连接的逻辑相比有了很大的改进。 我正在使用请求承诺库进行操作,并且它们已成功创建,但这里的事情变得很奇怪。
即使它们已成功创建,我的请求承诺也会返回此错误,
{
"name": "StatusCodeError",
"statusCode": 413,
"message": "413 - {\"error\":\"RequestEntityTooLarge\",\"description\":\"payload size: 1487638, max size supported: 1048576\"}",
"error": {
"error": "RequestEntityTooLarge",
"description": "payload size: 1487638, max size supported: 1048576"
},
"options": {
"method": "POST",
"headers": {
"Content-Type": "application/json",
"Fiware-Service": "waste4think",
"Fiware-ServicePath": "/deusto/w4t/zamudio/test"
},
"uri": "http://localhost:1026/v2/op/update?options=keyValues",
"body": {
"actionType": "UPDATE",
"entities": [ 2000 entities ]},
"json": true,
"simple": true,
"resolveWithFullResponse": false,
"transform2xxOnly": false
},
"response": {
"statusCode": 413,
"body": {
"error": "RequestEntityTooLarge",
"description": "payload size: 1487638, max size supported: 1048576"
},
"headers": {
"connection": "close",
"content-length": "100",
"content-type": "application/json",
"fiware-correlator": "48689168-6ef7-11e8-a270-0242ac110003",
"date": "Wed, 13 Jun 2018 10:48:18 GMT"
},
"request": {
"uri": {
"protocol": "http:",
"slashes": true,
"auth": null,
"host": "localhost:1026",
"port": "1026",
"hostname": "localhost",
"hash": null,
"search": "?options=keyValues",
"query": "options=keyValues",
"pathname": "/v2/op/update",
"path": "/v2/op/update?options=keyValues",
"href": "http://localhost:1026/v2/op/update?options=keyValues"
},
"method": "POST",
"headers": {
"Content-Type": "application/json",
"Fiware-Service": "waste4think",
"Fiware-ServicePath": "/deusto/w4t/zamudio/test",
"accept": "application/json",
"content-length": 1487638
}
}
}
}
我控制台记录我的流程
Sending: 0 500
Sending: 1 500
Sending: 2 500
Sending: 3 500
Sending: 4 134
[ undefined, undefined, undefined, undefined, undefined ]
正如你可以看到它从第一批,第二批等开始......这里未定义是没有问题,因为批处理返回时只有204成功并且我控制日志体而不是代码......
但是在最后一批完成后我得到了这个错误(创建了实体)。
你可以看到它显示错误,就像我将所有实体放在一个巨大的批次中并不是真的,即使我的实体成功创建也显示了这个东西。现在我在这里缺少什么,为什么Orion会返回此响应,但是通常会以小批量操作继续创建实体?
任何建议都会有所帮助。
由于
答案 0 :(得分:1)
我认为问题正是猎户座告诉你的问题:
"payload size: 1487638, max size supported: 1048576"
因此,您在POST /v2/op/update
中发送1487638个有效负载字节,而Orion允许1MB与described in documentation一样多。
假设500个实体(平均)占用1487638,那么250应该占用一半,约为700,000字节。鉴于~70万字节小于1MB,这应该足够了。事实上,你最后一批似乎有134个实体(< 250实体),所以可能是Orion正确处理了一个实体。
在这种情况下,客户端逻辑中通常使用的方法是在代码中使用某种累加器(例如JSON数组)。您可以实现一个循环来填充数组,累积每个实体的大小。当你接近极限(例如800KB)时,你发送批处理,重置数组并从下一个开始。