序列化无限大小的JSON字符串

时间:2017-08-30 01:55:09

标签: json deserialization json-deserialization

好的,这个让我挠头。

我有一个API返回一个JSON字符串的响应主体。

数据是每周都会继续增长。那就是我有一个JSON响应可能会永远增长,直到它:1)消耗我们所知道的世界 - 或者2)API方面的某个人了解分页。

那么,如果我不知道尺寸,我如何序列化?

我认为它必须以块的形式完成,因为我已经想出了如何将响应分块到文件中,但是如何以块的形式进行序列化?

这实际上是一个概念问题,因此只要能够解决问题的核心,任何语言的反应都会起作用。

我到目前为止尝试在C#中按字符逐行读取以测试JSON工件({},[] -etc),但性能是冰冷的。大约20分钟读取1000kb。

我觉得我在这里重新发明轮子......

编辑:回复@stdunbar的链接。

我刚尝试使用与JSON.Net的JsonReader类链接中描述的解决方案。几个问题。

1)。 JSON.NET的文档中从未有任何关于" JSON令牌"的信息。是。它是节点名称还是节点值?它只是节点名称吗?

2)。如果我的数据集可能是无限的,那意味着我的节点值可能是无限的。例如,我的JSON响应中有一个包含列表的节点。该列表随着数据的增长而增长。因此,如果我使用JsonReader加载该列表,有一天它可能只是1TB并破坏我的服务器。

0 个答案:

没有答案