在html5 localStorage中存储十亿个double / int数组?

时间:2018-12-09 00:28:17

标签: javascript arrays tensorflow compression local-storage

我在这里推动HTML5的限制。

我有这个问题:我有一个javascript数组,其中包含十亿个double(或整数),无论如何都是很多数字。我想将其存储在HTML5 localStorage中。

您可能会说,嘿,只需使用JSON.Stringify,BUT,JSON.Stringify就会产生200MB的巨大字符串。因为一个数字(例如0.03910319)存储为字符串(所以每个数字占用一些字节,而不是整个整数的几个字节)。

我正在考虑先对数组中的数字进行base64编码,然后再应用JSON.stringify?

还是最好先使用JSON.Stringify然后再使用GZip或使用某些压缩功能?

提出您的创意,以有效地将A BILLION int / double的javascript数组编码/解码为localStorage变量。

TensorFlowJS

我看了TensorflowJS,我的数组基本上是一维Tensor。 Tensorflow具有一些模型存储功能...也许这是一个可行的解决方案。

1 个答案:

答案 0 :(得分:0)

对于也正在处理此问题的任何人:

我使用了Float32Array(JavaScript类型的数组)作为数据。

使用https://github.com/localForage/localForage

可以轻松地将Float32Array存储在IndexedDB中。