附加300.000行或将其打印到文件中？

时间：2013-03-29 17:06:23

标签： javascript jquery json getjson

我需要从成千上万的在线JSON中获得大约300.000个最终行，相当于30MB。

作为编码的初学者，我更喜欢坚持使用JS来获取$ getJSON数据，剪切它，将有趣的部分添加到我的<body>，并循环使用数千个在线JSON。但我想知道：

  1. 我的网络浏览器可以处理300.000 $ getJSON查询以及生成的30~50MB网页而不会崩溃吗？
  2. 是否可以使用JS写下包含此结果的文件，因此脚本的工作会不断保存？

    3. 我希望我的脚本运行大约24小时。数字是估计值。

    编辑：我没有服务器端知识，只有JS。

1 个答案:

答案 0 :(得分：4)

关于你的方法，有些事情是不正确的：

  1. 如果你正在做的是从另一个来源获取（和处理）数据然后为访问者显示它，那么这个量表的处理应该在后台进程中单独进行。不应将Web浏览器用作您所谈论的规模的数据处理器。
  2. 如果您尝试显示30-50MB的网页，您的用户将会遇到令人沮丧的问题很多 - 浏览器崩溃，响应能力不足，超时，加载时间过长等等。如果你期望在旧的IE浏览器上有任何用户，他们甚至可以放弃，甚至不用尝试。

    3. 我的建议是将此任务撤出并使用您的后端基础架构执行，将结果保存在数据库中，然后您的用户可以搜索，过滤和访问该数据库。一些值得研究的选择：

    的Cron

    Cron将允许您重复和定期运行任务，例如每天或每小时。如果要不断更新数据集，请使用此选项。

    工人（Heroku）

    如果运行Heroku，请将其从dyno中取出并使用单独的工作人员，以免堵塞应用程序上的任何现有流量。

相关问题
最新问题