标签： node.js web-scraping request electron child-process
我正在开发用于某些Web抓取任务的电子应用程序，但在决定如何处理任务同时最大程度地提高效率方面遇到困难。
我研究了诸如簇之类的不同库，但是它的功能似乎非常有限（一个用于master和worker的文件）。我不确定child_process是否是最佳选择，因为我需要派生很多任务（最多100个），而且据我了解，这将占用大量资源。
有什么建议可以用于IO密集型但又不是CPU密集型任务，我理想情况下不必自己处理“分发”进程？