由于大型数据js文件,browserify和babelify非常慢

时间:2018-04-04 11:53:57

标签: javascript node.js babeljs browserify

我有一个nodejs项目,它使用存储在js文件中的大型字典列表(数百万条目),如下所示:

1 admin 2 user1 4 user2

然后我从其他文件中使用它们:

module.exports = ["entry1", "entry2", "entry3", "entry4", "entry5", etc.];

这很好用,它也适用于浏览器(使用browserify),但捆绑需要很长时间 - 大约10分钟。

我使用以下命令创建捆绑包: var values = require('./filePath');

我试图避免使用browserify "./src/myModule.js" --standalone myModule -t [ babelify --presets [ es2015 stage-2 ] --plugins ["transform-es2015-classes", {"loose": true}]解析我的字典js文件,但它没有任何区别。

理想情况下,我想加快browserify \ babelify流程,但如果不可能,我会很乐意找到另一种方式(即避免--noparse ["path1", "path2", "path3", etc.])来存储和使用我的列表,以便它们不会减慢进程,但这在节点和浏览器中也起着至关重要的作用。

2 个答案:

答案 0 :(得分:2)

您可以单独捆绑数据文件,因此您只需在更改时重新绑定它们。这可以使用--require -r--external -x选项。

要创建数据包,请执行以下操作:

browserify -r ./path/to/data.js -r ./path/to/other/data.js > data-bundle.js

结果data-bundle.js将全局定义require函数,该函数可用于获取您在上面的命令中列出的任何文件。只需确保在主捆绑包之前将此捆绑包包含在脚本标记中。

能够--require一个glob模式会很好,但遗憾的是browserify不支持这个。如果您尝试使用shell扩展模式,-r选项将仅适用于第一个,这很糟糕。您可以编写一个shell脚本来构建来自ls的命令,以避免必须列出所有数据文件的明确性,但我认为这超出了问题的范围。

要创建主包而不重建数据文件,只需在命令中添加如下选项:

-x './path/to/data/*.js'

这告诉browserify基本上忽略它们并让它们通过你的另一个bundle创建的全局require函数被拉入。如您所见,这确实支持glob模式,因此更容易。

<强>更新

要将两个捆绑包合二为一,只需在shell脚本的末尾添加类似的内容,该脚本以构建主捆绑包的browserify命令开头:

cat data-bundle.js main-bundle.js > bundle.js
rm main-bundle.js

不幸的是,这将始终必须将data-bundle.js的副本写入磁盘,这可能是减速的最终原因,正如我在下面的评论中提到的那样。值得一提的是。

如果即使 不起作用,也可能会采取其他更多的hacky方法。我现在会继续进入那些,因为我不认为它们是值得的,除非你绝对必须将它作为一个文件而没有别的办法。 :\

答案 1 :(得分:0)

如果您有包含数据的文件 - 只需单独加载它们,并且不要将它们包含在构建过​​程中

  1. 将您的大数据文件格式化为JSON
  2. 在服务器上使用:

    让fs = require(&#39; fs&#39;); 让yourContent = JSON.parse(fs.readFileSync(&#39; path / to / file&#39;));

  3. 关于客户使用:

    let request = require(&#34; client-request&#34;); //执行npm install client-request

    var options = {   uri:&#34; http://.com/path/to/file",   杰森:是的 }

    var req = request(选项,函数回调(错误,响应,正文){   执行console.log(response.statusCode)   if(body){     让yourContent = body   } })

  4. 或者使用您喜欢的HTTP请求的任何其他库