Javascript - 处理3gb数据以进行常规计算

时间:2017-09-20 19:24:57

标签: javascript node.js memory large-files bigdata

我目前正在考虑为我们的应用程序设计功能的布局,因为这是迄今为止最重的部分,我不知道如何设计它:

我们希望用户可以根据大型数据集对其假设进行回溯测试。

  • 数据集超过3gb(json)
  • 在用于计算之前,必须对其进行预处理(格式需要更改)
  • 它可以拆分为较小的文件,因为大数据集中的主题是可分离的。

一开始我以为我在商店里读了整个文件并从那里开始工作。我只是开始怀疑内存将会存活下来(假设在ws上运行什么样的消耗)。

我想到的替代方案是直接从文件中读取,但是我需要将它们拆分(250mb javascript max?)或流式传输(好主意?)。

在开始编写代码之前,我想了解如何在Javascript中最有效地处理这种大规模(是吗?)数据。现在,一切皆有可能。

谢谢! 扬

1 个答案:

答案 0 :(得分:3)

我会将您的数据移动到数据库和服务器。我个人会创建一个RESTful api来修改你在应用程序中调用的数据库中的数据。

由于您使用Javascript编写,因此可以为RESTful api创建节点服务器,并将数据存储到SQL或NoSQL等数据库中。然后从json文件中获取数据并将其放入数据库中。

我建议查看所有不同的数据库类型,并使用数据库来操作和保存数据。最大的问题是关系数据库与非关系数据库。阅读本文以获取更多相关信息:http://jlamere.github.io/databases/