在nodejs中下载百万个图像

Question

正在开发一个项目，我正在创建一些网址，然后从这些网址获取图片。

例如我有一个数组对象String Loan = "no"; if (rdbtn_Yes.Checked == true) { Loan = "yes"; } bookCom.Parameters.Add("@loan", SqlDbType.Char).Value = Loan;

urls

以及类似的网址..

我要做的是从这些网址获取图片并尝试通过此代码保存它们

['abc.com/01.jpg',
'abc.com/01.jpg',
.......
]

但它不能正常工作。在nodeJS项目中，任何机构都有关于从url下载图像的一些好主意吗？

或者可能不是在本地保存它们，而是在从网址获取后将它们上传到Dropbox？

我从上面的代码中得到了这个错误

download = (uri, filename, callback) ->
  request.head uri, (err, res, body) ->
    # console.log 'content-type:', res.headers['content-type']
    # console.log 'content-length:', res.headers['content-length']
    request(uri).pipe(fs.createWriteStream(filename)).on 'close', callback
    return
  return

Answer 1

您正在尝试并行打开所有这些文件的流（文件），但操作系统会限制应用程序的流。

您可以尝试同步下载文件，一个接一个，或者您可以尝试批量下载，因此总是尝试并行下载30个图像。