Question

我的用例如下：我从节点服务器到公共API进行了大量的休息API调用。有时响应很大，有时很小。我的用例要求我对响应JSON进行字符串化。我知道一个大的JSON，因为响应将阻止我的事件循环。经过一些研究后，我决定使用child_process.fork来解析这些响应，以便其他API调用不需要等待。我尝试从我的主进程发送一个30 MB的大JSON文件到分叉的child_process。子进程需要很长时间来挑选和解析json。我期待儿童过程的反应并不大。我只是希望字符串化并获得长度并发送回主要过程。

我附上主码和子码。

var moment = require('moment');
var fs = require('fs');
var process = require('child_process');
var request = require('request');

var start_time = moment.utc().valueOf();

request({url: 'http://localhost:9009/bigjson'}, function (err, resp, body) {

  if (!err && resp.statusCode == 200) {

    console.log('Body Length : ' + body.length);

    var ls = process.fork("response_handler.js", 0);

    ls.on('message', function (message) {
        console.log(moment.utc().valueOf() - start_time);
        console.log(message);
    });
    ls.on('close', function (code) {
        console.log('child process exited with code ' + code);
    });
    ls.on('error', function (err) {
        console.log('Error : ' + err);
    });
    ls.on('exit', function (code, signal) {
        console.log('Exit : code : ' + code + ' signal : ' + signal);
    });
  }
  ls.send({content: body});
});

response_handler.js

console.log("Process " + process.argv[2] + " at work ");

process.on('message', function (json) {
  console.log('Before Parsing');
  var x = JSON.stringify(json);
  console.log('After Parsing');
  process.send({msg: 'Sending message from the child. total size is' +    x.length});
});

有没有更好的方法来实现我想要做的事情？一方面，我需要node.js的强大功能，每秒进行1000次API调用，但有时我会得到一个很大的JSON，这会让事情搞砸。

Answer 1

您的任务似乎都是IO绑定的（获取30MB大小的JSON），其中Node的异步性闪耀，以及CPU绑定（解析30MB大小的JSON），其中异步性并不能帮助您。

分叉太多进程很快就会成为资源匮乏并降低性能。对于CPU绑定的任务，您需要的核心数量与核心数量相同，而不是更多。

我将使用一个单独的进程来执行提取并将解析委托给其他N个进程，其中N（最多）是CPU核心数减去1并使用某种形式的IPC进行进程通信。

一种选择是使用Node的Cluster模块来编排上述所有内容：https://nodejs.org/docs/latest/api/cluster.html

使用此模块，您可以让主进程预先创建工作进程，而不必担心何时进行分叉，要创建多少进程等.IPC与process.send一样正常工作process.on。所以可能的工作流程是：

应用程序启动：主进程创建一个＆＃34; fetcher＆＃34;和N＆＃34;解析器＆＃34;流程。
向fetcher发送一个API端点的工作列表以进行处理并开始获取JSON，将其发送回主进程。
在获取的每个JSON上，主节点发送到解析器进程。您可以以循环方式使用它们，或者在解析器工作队列为空或运行不足时使用更复杂的方式向主进程发送信号。
解析器进程将生成的JSON对象发送回master。

请注意，IPC也有非常重要的开销，特别是在发送/接收大对象时。您甚至可以让提取器对非常小的响应进行解析，而不是传递它们以避免这种情况。＆＃34;小＆＃34;这可能是＆lt; 32KB。

另请参阅：Is it expensive/efficient to send data between processes in Node?

Node.js - 向child_process发送一个大对象很慢

1 个答案: