Question

我正在尝试逐行读取文件，并使用读取的数据执行一些异步功能。我需要限制它的并发性。我知道如何逐行阅读，以及如何使用模块进行并发，但我不知道如何将它们组合在一起。我正在使用逐行和喉咙模块。

这是我迄今为止没有成功的尝试：

// modules
const CONCURRENCY = 5 
const throat = require('throat')(CONCURRENCY)
const LineByLineReader = require('line-by-line')
lr = new LineByLineReader('urls.txt')

throat(() => { 
  lr.on('line', function (line) {

      return main(line) // this is an async function that returns a promise
      Promise.resolve()

  })
})

Answer 1

您需要在throat回调

中使用line

const CONCURRENCY = 5
const throat = require('throat')
const LineByLineReader = require('line-by-line')
lr = new LineByLineReader('urls.txt')

lr.on('line', throat(CONCURRENCY, main))

此外，您可以使用节点的内置readline模块，而不是line-by-line：

const fs = require('fs')
const readline = require('readline')

readline.
  createInterface({input: fs.createReadStream('urls.txt')}).
  on('line', throat(CONCURRENCY, main))

如何在node.js中逐行并发限制

1 个答案: