处理1000万行文件并保持输出顺序

时间:2018-06-09 13:00:24

标签: node.js

所以我必须运行一个需要解析文件的每一行的进程,找到一些特定的字符串(按位置),调用HTTP api(它将返回该字符串所需的转换),替换为响应然后保存到输出文件,保持原始文件的顺序。

我找到了几个选项来做到这一点,但事情是我的输入文件将是1000万+行。我可以逐行完成,但我想利用HTTP api,支持超过1500 TPS,因此我可以并行化HTTP调用。

我正在考虑以块的形式读取文件,获取需要替换的字符串,使用promise.all或其他东西调用HTTP然后转到下一批。但是,我无法找到这样做的方法。

我查看了所有建议的解决方案here,但并未考虑并行处理。

任何想法如何通过并行化HTTP调用来实现?

0 个答案:

没有答案