猎户座响应问题RequestEntityTooLarge

时间:2018-06-13 12:25:20

标签: fiware fiware-orion

我最近同时询问了关于大量连接的问题,我得到的一个建议是我应该使用BATCH操作。谢谢你,它帮助了很多。

Link to topic

现在我有奇怪的情况,我知道什么是错误意味着什么导致它,但我不知道在我的情况下会发生什么。

所以我有2000个实体,我将它们分成500块(我知道我可以拆分1000块甚至更多但是现在我坚持500块)

然后我继续将它们创建为4个批处理操作,与我之前打开2000个连接的逻辑相比有了很大的改进。 我正在使用请求承诺库进行操作,并且它们已成功创建,但这里的事情变得很奇怪。

即使它们已成功创建,我的请求承诺也会返回此错误,

{
    "name": "StatusCodeError",
    "statusCode": 413,
    "message": "413 - {\"error\":\"RequestEntityTooLarge\",\"description\":\"payload size: 1487638, max size supported: 1048576\"}",
    "error": {
        "error": "RequestEntityTooLarge",
        "description": "payload size: 1487638, max size supported: 1048576"
    },
    "options": {
        "method": "POST",
        "headers": {
            "Content-Type": "application/json",
            "Fiware-Service": "waste4think",
            "Fiware-ServicePath": "/deusto/w4t/zamudio/test"
        },
        "uri": "http://localhost:1026/v2/op/update?options=keyValues",
        "body": {
            "actionType": "UPDATE",
            "entities": [ 2000 entities ]},
        "json": true,
        "simple": true,
        "resolveWithFullResponse": false,
        "transform2xxOnly": false
    },
    "response": {
        "statusCode": 413,
        "body": {
            "error": "RequestEntityTooLarge",
            "description": "payload size: 1487638, max size supported: 1048576"
        },
        "headers": {
            "connection": "close",
            "content-length": "100",
            "content-type": "application/json",
            "fiware-correlator": "48689168-6ef7-11e8-a270-0242ac110003",
            "date": "Wed, 13 Jun 2018 10:48:18 GMT"
        },
        "request": {
            "uri": {
                "protocol": "http:",
                "slashes": true,
                "auth": null,
                "host": "localhost:1026",
                "port": "1026",
                "hostname": "localhost",
                "hash": null,
                "search": "?options=keyValues",
                "query": "options=keyValues",
                "pathname": "/v2/op/update",
                "path": "/v2/op/update?options=keyValues",
                "href": "http://localhost:1026/v2/op/update?options=keyValues"
            },
            "method": "POST",
            "headers": {
                "Content-Type": "application/json",
                "Fiware-Service": "waste4think",
                "Fiware-ServicePath": "/deusto/w4t/zamudio/test",
                "accept": "application/json",
                "content-length": 1487638
            }
        }
    }
}

我控制台记录我的流程

Sending: 0 500
Sending: 1 500
Sending: 2 500
Sending: 3 500
Sending: 4 134
[ undefined, undefined, undefined, undefined, undefined ]

正如你可以看到它从第一批,第二批等开始......这里未定义是没有问题,因为批处理返回时只有204成功并且我控制日志体而不是代码......

但是在最后一批完成后我得到了这个错误(创建了实体)。

你可以看到它显示错误,就像我将所有实体放在一个巨大的批次中并不是真的,即使我的实体成功创建也显示了这个东西。现在我在这里缺少什么,为什么Orion会返回此响应,但是通常会以小批量操作继续创建实体?

任何建议都会有所帮助。

由于

1 个答案:

答案 0 :(得分:1)

我认为问题正是猎户座告诉你的问题:

"payload size: 1487638, max size supported: 1048576"

因此,您在POST /v2/op/update中发送1487638个有效负载字节,而Orion允许1MB与described in documentation一样多。

假设500个实体(平均)占用1487638,那么250应该占用一半,约为700,000字节。鉴于~70万字节小于1MB,这应该足够了。事实上,你最后一批似乎有134个实体(< 250实体),所以可能是Orion正确处理了一个实体。

在这种情况下,客户端逻辑中通常使用的方法是在代码中使用某种累加器(例如JSON数组)。您可以实现一个循环来填充数组,累积每个实体的大小。当你接近极限(例如800KB)时,你发送批处理,重置数组并从下一个开始。