从位置0开始的行中的JSON解析错误：。行大小大于：2097152

Question

我们尝试从GoogleCloudStorage上传文件，但收到了

等错误

  

从位置0开始的行中的JSON解析错误：。行大小大于：2097152.（错误代码：无效）`。   一万个客户数据存储在线上。

[{"user_id":1,"address": "london", "birthday":xxxx},{"user_id":2,"address": "london", "birthday":xxxx},{"user_id":3,"address": "NY", "birthday":xxxx},....{"user_id":10000,"address": "NY", "birthday":xxxx}]

Answer 1

为了将GSON从GCS加载到GBQ，您应该将数据转换为如下所示，每个用户信息都在单独的行中 - 这将解决行大小限制并符合newline delimited JSON要求 - 详情请参阅支持JSON format

{"user_id":1,"address": "london", "birthday":xxxx}
{"user_id":2,"address": "london", "birthday":xxxx}
{"user_id":3,"address": "NY", "birthday":xxxx}
....
{"user_id":10000,"address": "NY", "birthday":xxxx}

Answer 2

JSON限制了4MB数据大小的其余行被忽略。所以这个解析抛出了。您可以使用分页来避免这么大的数据，以便更快地下载和浏览。