标签: node.js web-scraping request electron child-process
我正在开发用于某些Web抓取任务的电子应用程序,但在决定如何处理任务同时最大程度地提高效率方面遇到困难。
我研究了诸如簇之类的不同库,但是它的功能似乎非常有限(一个用于master和worker的文件)。我不确定child_process是否是最佳选择,因为我需要派生很多任务(最多100个),而且据我了解,这将占用大量资源。
有什么建议可以用于IO密集型但又不是CPU密集型任务,我理想情况下不必自己处理“分发”进程?