Question

可以对我的nodejs服务器发出的一些请求需要大量处理（例如：5000个文件）。由于请求需要一段时间才能处理，我想在浏览器中显示进度。为此，我使用io-socket。通常，服务器将进度提前发送到客户端，例如ioSocket.emit("log", "progress 24%) 但是，如果发送到客户端的进度通常有效，那么当文件数量很大时，它就不会发送。没有任何内容发送到浏览器我确定进程正常，因为我将进度记录到节点终端，并且它按预期显示。

我想知道如何让ioSocket.emit事件在繁重的情况下工作，因为它是看到进展最有用的地方。

文件处理功能如下所示：

var child_process = require("child_process");

function (ioSocket) {

  ioSocket.emit("log", "start")

  var ratingCounts = 0;
  var listOfFilesRatings = []

  _.each(listOfFilesPaths, function(path, i){

    child_process.exec("exiftool -b -Rating "+ path, function(err, stdout){

      if (err) console.log(err)
      else {

        listOfFilesRatings.push(stdout);
        ratingCounts++;

        ioSocket.emit("log", "rating test progress "+ ratingCounts)

      };

    });

    ioSocket.emit("log", "each progress "+ i)

  });


}

在这个例子中，只有第一个＆＃34;开始＆＃34; emit将被触发到浏览器。

但是，如果我执行以下操作：

function (ioSocket) {

  ioSocket.emit("log", "start")

  for (i=0; i<1000; i++) {

    ioSocket.emit("log", "each progress "+ i)

  };

}

一切正常，我得到了＃34;开始＆＃34;以及所有＆＃34;每个进步＆＃34;发送到浏览器。

Answer 1

如果您正在处理5000个文件，则使用_.each()和child_process.exec()的方案将同时启动5000个exiftool进程。这可能会带来任何计算机，除了可能是一些大铁杆。在您对特定硬件运行某些性能测试以确定N应该是什么（可能小于10）时，您可能应该启动不超过N个。

以下是一种方法：

var child_process = require("child_process");

function processFiles(ioSocket) {

    return new Promise((resolve, reject) => {

        ioSocket.emit("log", "start")

        let ratingCounts = 0;
        let listOfFilesRatings = [];
        const maxInFlight = 10;
        let inFlightCntr = 0;
        let fileIndex = 0;

        function run() {
            // while room to run more, run them
            while (inFlightCntr < maxInFlight && fileIndex < listOfFilesPaths.length) {
                let index = fileIndex++;
                ++inFlightCntr;
                ioSocket.emit("log", "each progress " + index)
                child_process.exec("exiftool -b -Rating " + path, function(err, stdout) {
                    ++ratingCounts;
                    --inFlightCntr;
                    if (err) {
                        console.log(err);
                        listOfFilesRatings[index] = 0;
                    } else {
                        listOfFilesRatings[index] = stdout;
                        ioSocket.emit("log", "rating test progress " + ratingCounts)
                    }
                    run();
                });
            }
            if (inFlightCntr === 0 && fileIndex >= listOfFilesPaths.length) {
                // all done here
                console.log(listOfFilesRatings);
                resolve(listOfFilesRatings);
            }
        }
        run();
    });
}


processFiles().then(results => {
    console.log(results);
});

ioSocket在服务器重负载时不向浏览器发出

1 个答案: